Qwen3.5-35B-A3B-AWQ-4bit镜像快速上手：无需conda/pip，直接supervisorctl启动
Qwen3.5-35B-A3B-AWQ-4bit镜像快速上手：无需conda/pip，直接supervisorctl启动
1. 模型介绍
Qwen3.5-35B-A3B-AWQ-4bit是一个专为视觉多模态理解设计的量化模型，特别适合需要图片分析和图文交互的应用场景。这个模型最大的特点是能够理解图片内容，并围绕图片进行智能对话。
1.1 核心能力
| 功能 | 说明 |
|---|---|
| 图片内容理解 | 可以准确识别图片中的物体、场景和文字 |
| 图文问答 | 支持针对图片内容的多轮提问和回答 |
| 视觉描述 | 能够用自然语言描述图片内容 |
| 中文支持 | 问答和描述均支持中文输出 |
1.2 技术特点
- 开箱即用：预装完整环境，无需额外安装conda或pip包
- 稳定部署：采用vLLM+compressed-tensors技术路线
- 双卡支持：经过验证可在双24GB GPU环境下稳定运行
- 自动恢复：服务重启后会自动恢复运行状态
2. 快速部署指南
2.1 访问方式
根据您的网络环境，有两种访问方式：
- 直接访问：如果平台已经配置了外网映射，可以直接访问分配的7860端口地址
- SSH隧道：如果没有外网映射，建议使用以下命令建立隧道：
ssh -L 7860:127.0.0.1:7860 -p 32468 root@gpu-kktv84d3pq.ssh.gpu.csdn.net然后在本地浏览器打开：
http://127.0.0.1:78602.2 服务验证
部署完成后，可以通过以下命令检查服务状态：
# 检查后端服务 supervisorctl status qwen35awq-backend # 检查前端服务 supervisorctl status qwen35awq-web # 检查端口占用 ss -ltnp | egrep '7860|8000'3. 基础使用教程
3.1 图文对话操作步骤
- 打开Web界面后，点击"上传图片"按钮选择要分析的图片
- 在下方输入框中输入您的问题
- 点击"发送"按钮提交问题
- 等待模型处理并返回回答
3.2 推荐测试流程
为了获得最佳体验，建议按照以下顺序测试：
- 先上传一张清晰、主体明确的图片
- 从简单描述性问题开始，如"描述这张图片的内容"
- 逐步测试更复杂的问题，如识别特定物体或分析图片中的文字
- 最后尝试需要推理的问题，如"图片中的人物可能在做什么"
重要提示：更换新图片后，建议先刷新页面或重新上传，以确保模型正确识别新图片内容。
4. 服务管理
4.1 常用命令
# 重启服务 supervisorctl restart qwen35awq-backend supervisorctl restart qwen35awq-web # 查看日志 tail -100 /root/workspace/qwen35awq-backend.log tail -100 /root/workspace/qwen35awq-web.log4.2 参数配置
| 参数项 | 说明 | 默认值 |
|---|---|---|
| tensor-parallel-size | 张量并行数 | 2 |
| max-model-len | 最大上下文长度 | 4096 |
| enforce-eager | 推理模式 | 已启用 |
5. 最佳实践建议
5.1 图片选择技巧
- 优先使用高分辨率、主体清晰的图片
- 避免过于复杂或包含大量文字的图片
- 对于专业图表，建议先测试简单问题
5.2 提问技巧
- 从整体到细节：先问整体描述，再问具体细节
- 一次一个问题：避免在单个问题中包含多个子问题
- 明确具体：问题越具体，回答越准确
6. 常见问题解答
Q: 为什么需要双显卡？
A: 即使经过4bit量化，模型对显存需求仍然较高。双卡24GB配置经过验证可以稳定运行，单卡可能会出现内存不足的情况。
Q: 首次响应为什么比较慢？
A: 首次请求包含模型预热过程，后续请求会快很多。图片越大、问题越复杂，响应时间也会相应增加。
Q: 如何判断服务是否正常运行？
A: 可以依次检查：
- 服务状态：
supervisorctl status qwen35awq-backend - 端口监听：
ss -ltnp | grep 7860 - 日志信息：
tail -100 /root/workspace/qwen35awq-backend.log
Q: 更换图片后回答不准确怎么办？
A: 建议在上传新图片后刷新页面，或者等待几秒再提问，确保模型已经正确加载新图片。
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。