智能客服——前期调研

一、需求分析

项目分成两个阶段：

• 阶段一，是快速开发一个MVP产品——智能助手，模仿DeepSeek，实现如下最基础的能力：用户注册登陆、会话管理、聊天（分为普通对话和深度思考）、联网搜索、上传文件；

• 阶段二，智能客服，要求能解决横向问题，减少人工成本。

二、架构设计

具体说明如下：

• 其中AI大模型平台架构层负责资源分配和模型部署；
• AI大模型技术架构层提供开发技术和指导思想；
• AI大模型业务架构层支持高并发、高性能以及高可用。

三、技术选型

• 模型部署架构：第一阶段使用Ollama；第二阶段改为vLLM。
• 文本模型使用在线的DeepSeek-v3，思维链推理模型使用deepseek-r1:32b，嵌入模型使用bge-m3。
• 主要遵循的是RAG架构和Agent架构开发思想。会使用到提示词工程、Function calling、MCP等技术。通过FastAPI、Vue以及Uvicorn技术栈实现前后端分离。在第二阶段使用GraphRAG实现横向问题问答。
• 采用基础架构，具体来说是基于Redis实现缓存方案，基于Nginx将用户请求分配给相同业务的服务器，基于MQ将用户请求异步到LM，从而支持高并发。

四、资源评估

• 内存：redis，向量数据库，图数据库。
• 显存：文本模型DeepSeek-v3在线模型；思维链推理模型deepseek-r1:32b，是Q4_K_M，需要 20G 的显存：
  • 模型显存计算：参数量：32b == 320亿（参数单位：float32、float16、float64、int32、int64、int8、int4），以deepseek-r1:32b举例，Q4表示参数单位是int4，即0.5 字节，所以320 亿个 0.5 字节是14.90 GB，为什么Ollama官网上显示deepseek-r1:32b需要20G，因为Q4_K_M不是将所有参数都量化成int4。
• 服务器的租用单卡RTX 4090/24 GB即可。