当前位置：首页 > news >正文

基于通义千问1.5-1.8B的智能客服机器人：MySQL数据库对话日志分析与优化

news 2026/9/1 17:22:46

基于通义千问1.5-1.8B的智能客服机器人：MySQL数据库对话日志分析与优化

最近和几个做企业服务的朋友聊天，大家普遍有个头疼的问题：客服系统每天产生海量的对话记录，这些数据就像一座金矿，但不知道怎么挖。人工看吧，效率太低；放着不管吧，又觉得可惜。客户到底在抱怨什么？哪些问题反复出现？客服的回答质量怎么样？这些问题都藏在对话日志里。

正好，最近在尝试用一些轻量级的AI模型来处理这类任务，通义千问1.5-1.8B这个版本就挺合适。它模型不大，部署起来不费劲，但做文本分类、情感分析这些事效果还不错。更重要的是，它能和我们熟悉的MySQL数据库很好地结合起来，让分析结果直接入库，再用SQL跑个报表，整个流程就打通了。

今天，我就结合一个实际的智能客服场景，聊聊怎么把通义千问模型用起来，让它帮你自动分析客服对话日志，并把分析结果存到MySQL里，最后还能基于这些数据做一些有价值的统计和优化。整个过程，我会尽量用大白话讲清楚，哪怕你之前没怎么接触过AI模型或者数据库，跟着步骤走也能跑起来。

1. 场景与痛点：为什么需要AI分析客服日志？

先想象一下一个电商公司客服部门的日常。每天，客服人员通过在线聊天工具接待成千上万的客户。这些对话里，有咨询商品信息的，有处理售后问题的，有投诉快递慢的，也有单纯来夸夸产品好的。

过去，管理层想了解客服质量，要么是抽检少量录音，要么是看一些简单的报表，比如“平均响应时长”、“会话量”。但这些数据太表面了。你并不知道：

客户的核心诉求是什么？是价格问题、物流问题还是产品质量问题？
客户的情绪怎么样？他是平静咨询，还是已经带着怒气了？
客服的回答是否准确、得体？有没有答非所问，或者激化矛盾？
哪些问题是高频出现的？能不能通过优化产品描述或流程来减少咨询？

这些深层次的洞察，都藏在非结构化的对话文本里。靠人力阅读分析，成本高、速度慢、还容易主观。这就是我们需要引入AI模型的原因——让它7x24小时、客观、快速地从文本中提取出这些有价值的信息。

2. 解决方案设计：通义千问 + MySQL 能做什么？

我们的目标很简单：让AI自动阅读每一条客服对话，并告诉我们三件事：1）客户想干嘛（意图分类）；2）客户心情如何（情感分析）；3）对话里提到了什么关键信息（如订单号、产品型号）。然后，把这些结构化的结果，存到数据库里。

这样一来，原本杂乱无章的文本日志，就变成了规整的结构化数据表。接下来，用你最熟悉的SQL语句，就能轻松做出各种分析报表。

整个方案的流程，我画了个简单的示意图，你可以先有个直观感受：

graph TD A[原始客服对话日志<br>非结构化文本] --> B[通义千问模型处理] B --> C{分析维度} C --> D[意图分类] C --> E[情感分析] C --> F[关键信息提取] D --> G[结构化分析结果] E --> G F --> G G --> H[写入MySQL数据库] H --> I[SQL查询与统计分析] I --> J[生成可视化报表<br>指导客服优化]

具体来说，通义千问模型在这个流程里负责核心的“理解”工作：

意图分类：把客户的问题归到预设的类别里，比如“售前咨询”、“物流查询”、“售后投诉”、“产品使用指导”等。
情感分析：判断客户在对话中表达的情绪是“正面”、“中性”还是“负面”。这对于识别潜在投诉和评估客服安抚能力至关重要。
关键信息提取：从对话中抓取像订单号、手机号、商品SKU这类特定信息，方便后续关联其他业务数据。

而MySQL数据库，则扮演了“仓库”和“工作台”的角色。它安全地存储所有原始日志和分析结果，并且通过SQL这个强大的工具，让我们能随时对数据进行聚合、筛选、关联查询。

3. 环境准备与快速部署

在开始写代码之前，我们需要把“战场”准备好。主要是两件事：把通义千问模型跑起来，以及准备好MySQL数据库。

3.1 MySQL数据库安装与配置

数据库是我们的数据中枢，先把它搭好。这里以最常见的Linux系统为例，用几条命令就能搞定。

安装MySQL：打开终端，执行以下命令。不同Linux发行版的命令略有不同。

# 对于 Ubuntu/Debian 系统 sudo apt update sudo apt install mysql-server -y # 对于 CentOS/RHEL 系统 sudo yum install mysql-server -y

启动并设置MySQL：安装完成后，启动数据库服务，并进行初始安全设置。

# 启动MySQL服务 sudo systemctl start mysql # 设置开机自启 sudo systemctl enable mysql # 运行安全配置脚本，这里会提示你设置root密码、移除匿名用户等 sudo mysql_secure_installation

跟着提示一步步操作就行，建议为root账户设置一个强密码。

登录MySQL并创建数据库：使用刚设置的密码登录MySQL，然后为我们的项目创建一个专用的数据库和用户。

mysql -u root -p

输入密码后，进入MySQL命令行，执行以下SQL语句：

-- 创建一个名为 `customer_service_ai` 的数据库 CREATE DATABASE customer_service_ai; -- 使用这个数据库 USE customer_service_ai; -- 创建一个新用户，并授予其对`customer_service_ai`数据库的所有权限 -- 将 `'your_password'` 替换成你想设置的密码 CREATE USER 'cs_ai_user'@'localhost' IDENTIFIED BY 'your_password'; GRANT ALL PRIVILEGES ON customer_service_ai.* TO 'cs_ai_user'@'localhost'; FLUSH PRIVILEGES; -- 退出 EXIT;

好了，数据库这边就准备好了。记住我们创建的数据库名(customer_service_ai)、用户名(cs_ai_user)和密码，等下写代码连接时会用到。

3.2 通义千问模型环境搭建

模型这边，我们选择使用Python，因为它有丰富的AI库和数据库连接库。推荐使用conda或venv创建一个独立的Python环境，避免包版本冲突。

创建Python虚拟环境：

# 使用 conda conda create -n qwen-cs python=3.9 conda activate qwen-cs # 或者使用 venv python -m venv qwen-cs-env source qwen-cs-env/bin/activate # Linux/Mac # Windows 使用 `qwen-cs-env\Scripts\activate`

安装必要的Python库：核心需要两个库：transformers（用来加载和运行通义千问模型）和pymysql（用来连接MySQL数据库）。
```
pip install transformers pymysql torch
```
如果安装torch时遇到问题，可以去PyTorch官网根据你的系统选择对应的安装命令。

环境准备好，我们就可以进入最核心的环节——写代码把两者连接起来了。

4. 核心实现：从对话日志到数据库分析

现在，我们假设你已经有了一批客服对话的文本数据，可能是一个CSV文件，或者是从某个系统导出的日志。我们就从读取这些数据开始。

4.1 连接数据库与设计表结构

首先，写一个Python脚本，建立与MySQL的连接，并创建存放分析结果的表。

import pymysql from pymysql.cursors import DictCursor # 数据库连接配置，替换成你自己的信息 db_config = { 'host': 'localhost', 'user': 'cs_ai_user', 'password': 'your_password', # 替换为之前设置的密码 'database': 'customer_service_ai', 'charset': 'utf8mb4' # 支持存储Emoji等特殊字符 } def create_connection(): """创建数据库连接""" try: connection = pymysql.connect(**db_config, cursorclass=DictCursor) print("数据库连接成功！") return connection except pymysql.Error as e: print(f"连接数据库失败: {e}") return None def create_tables(connection): """创建分析结果表""" create_table_sql = """ CREATE TABLE IF NOT EXISTS chat_analysis ( id INT AUTO_INCREMENT PRIMARY KEY, session_id VARCHAR(100) NOT NULL COMMENT '会话ID', customer_text TEXT COMMENT '客户发言内容', agent_text TEXT COMMENT '客服回复内容', intent VARCHAR(50) COMMENT '意图分类，如：物流查询、产品咨询', sentiment VARCHAR(20) COMMENT '情感倾向：positive, neutral, negative', key_info JSON COMMENT '提取的关键信息，JSON格式，如订单号', analysis_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP COMMENT '分析时间' ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COMMENT='客服对话分析结果表'; """ try: with connection.cursor() as cursor: cursor.execute(create_table_sql) connection.commit() print("数据表 `chat_analysis` 创建成功或已存在。") except pymysql.Error as e: print(f"创建表失败: {e}") # 主程序入口 if __name__ == "__main__": conn = create_connection() if conn: create_tables(conn) conn.close()

运行这个脚本，你的数据库里就会多出一张chat_analysis表，用来存储每一条对话的分析结果。

4.2 使用通义千问模型分析单条对话

接下来，我们加载通义千问模型，并写一个函数来处理单条对话。这里以意图分类和情感分析为例。

from transformers import AutoTokenizer, AutoModelForCausalLM import torch # 指定模型名称，这里使用通义千问1.5-1.8B的模型ID model_name = "Qwen/Qwen1.5-1.8B" print(f"正在加载模型: {model_name}...") tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.float16, # 使用半精度减少内存占用 device_map="auto", # 自动分配GPU/CPU trust_remote_code=True ) print("模型加载完成！") def analyze_chat_with_qwen(customer_text, agent_text=""): """ 使用通义千问模型分析单条客服对话。 参数: customer_text: 客户说的话 agent_text: 客服回复的话（可选） 返回: 包含意图、情感等信息的字典 """ # 1. 构建分析提示词(Prompt) # 提示词的设计直接影响模型输出，这里是一个简单示例 prompt = f""" 请分析以下客服对话，并按要求输出JSON格式的结果。 客户说：“{customer_text}” 客服回复：“{agent_text}” 请完成以下分析： 1. 判断客户的主要意图是什么？从以下选项中选择：产品咨询、价格询问、物流查询、售后投诉、使用指导、其他。 2. 判断客户在对话中表现出的情感倾向：positive（积极）、neutral（中性）、negative（消极）。 3. 从对话中提取关键实体信息，如订单号、产品型号、电话号码等。 请以严格的JSON格式输出，只包含以下三个键：intent, sentiment, key_entities。 示例输出：{{"intent": "物流查询", "sentiment": "neutral", "key_entities": {{"order_id": "123456"}}}} """ # 2. 将提示词转换为模型输入 messages = [{"role": "user", "content": prompt}] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) model_inputs = tokenizer([text], return_tensors="pt").to(model.device) # 3. 生成分析结果 generated_ids = model.generate( **model_inputs, max_new_tokens=512, # 控制生成文本的最大长度 do_sample=True, # 启用采样，使输出更多样 temperature=0.3, # 控制随机性，越低越确定 ) generated_ids = [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)] response = tokenizer.batch_decode(generated_ids, skip_special_tokens=True)[0] # 4. 解析模型返回的JSON结果（这里需要简单的解析和容错处理） # 注意：实际应用中，模型输出可能不稳定，需要更健壮的解析逻辑。 # 这里为简化，假设模型返回了标准JSON。 import json try: # 尝试从响应文本中提取JSON部分 # 有时模型会在JSON前后添加额外解释，这里用简单查找 start_idx = response.find('{') end_idx = response.rfind('}') + 1 if start_idx != -1 and end_idx != 0: json_str = response[start_idx:end_idx] result = json.loads(json_str) else: result = {"intent": "解析失败", "sentiment": "neutral", "key_entities": {}} except json.JSONDecodeError: result = {"intent": "解析失败", "sentiment": "neutral", "key_entities": {}} return result # 测试一下 test_customer_text = “我买的手机订单号123456，怎么三天了还没发货？” test_agent_text = “您好，我立刻为您查询一下物流状态。” analysis_result = analyze_chat_with_qwen(test_customer_text, test_agent_text) print("单条对话分析结果：", analysis_result)

运行这段代码，你应该能看到模型对测试对话的分析结果，比如{"intent": "物流查询", "sentiment": "negative", "key_entities": {"order_id": "123456"}}。这说明模型正确理解了客户的意图（查询物流）、情绪（消极）并提取了关键信息（订单号）。

4.3 批量处理日志与数据入库

单条分析成功了，接下来就是批量处理你的历史日志文件，并把结果存入数据库。假设你的日志是一个每行包含session_id,customer_text,agent_text的CSV文件。

import csv import time from tqdm import tqdm # 用于显示进度条，安装：pip install tqdm def batch_process_and_save(csv_file_path, connection, batch_size=10): """ 批量读取CSV文件，调用模型分析，并存入数据库。 参数: csv_file_path: 日志CSV文件路径 connection: 数据库连接对象 batch_size: 每批处理的数据量，避免内存溢出 """ all_records = [] print(f"开始读取文件: {csv_file_path}") # 1. 读取CSV文件 with open(csv_file_path, 'r', encoding='utf-8') as f: reader = csv.DictReader(f) for row in reader: all_records.append(row) print(f"共读取到 {len(all_records)} 条对话记录。") # 2. 分批处理 insert_sql = """ INSERT INTO chat_analysis (session_id, customer_text, agent_text, intent, sentiment, key_info) VALUES (%s, %s, %s, %s, %s, %s) """ cursor = connection.cursor() processed_count = 0 for i in tqdm(range(0, len(all_records), batch_size), desc="分析进度"): batch = all_records[i:i+batch_size] data_to_insert = [] for record in batch: session_id = record.get('session_id', '') customer_text = record.get('customer_text', '') agent_text = record.get('agent_text', '') # 调用模型分析单条对话 try: analysis = analyze_chat_with_qwen(customer_text, agent_text) # 准备插入数据 data_to_insert.append(( session_id, customer_text[:1000], # 防止文本过长，可调整 agent_text[:1000], analysis.get('intent', '其他'), analysis.get('sentiment', 'neutral'), json.dumps(analysis.get('key_entities', {}), ensure_ascii=False) # 关键信息存为JSON )) except Exception as e: print(f"分析会话 {session_id} 时出错: {e}") # 出错时插入空分析结果或跳过 continue # 避免请求过快，小睡一下（根据模型部署方式调整） time.sleep(0.1) # 3. 批量插入数据库 if data_to_insert: try: cursor.executemany(insert_sql, data_to_insert) connection.commit() processed_count += len(data_to_insert) except pymysql.Error as e: print(f"批量插入数据库失败: {e}") connection.rollback() cursor.close() print(f"处理完成！成功分析并入库 {processed_count} 条记录。") # 使用示例 if __name__ == "__main__": conn = create_connection() if conn: # 替换为你的CSV文件路径 batch_process_and_save('path/to/your/customer_chat_logs.csv', conn, batch_size=5) conn.close()

运行这个批量处理脚本，泡杯咖啡，回来就会发现数据库里已经充满了分析好的结构化数据。现在，金矿已经初步提炼好了。

5. 基于SQL的深度分析与优化建议

数据入库后，好玩的部分就开始了。我们可以直接用SQL查询来挖掘价值。下面举几个实用的分析例子。

5.1 基础统计分析：洞察全局

首先，看看整体情况。

-- 1. 各类意图的分布情况：客户最常问什么？ SELECT intent AS '客户意图', COUNT(*) AS '会话数量', ROUND(COUNT(*) * 100.0 / (SELECT COUNT(*) FROM chat_analysis), 2) AS '占比(%)' FROM chat_analysis WHERE intent IS NOT NULL AND intent != '解析失败' GROUP BY intent ORDER BY COUNT(*) DESC; -- 2. 情感倾向分布：客户整体情绪如何？ SELECT sentiment AS '情感倾向', COUNT(*) AS '会话数量', ROUND(COUNT(*) * 100.0 / (SELECT COUNT(*) FROM chat_analysis), 2) AS '占比(%)' FROM chat_analysis WHERE sentiment IS NOT NULL GROUP BY sentiment ORDER BY FIELD(sentiment, 'negative', 'neutral', 'positive'); -- 按负面、中性、正面排序 -- 3. 负面情绪会话的意图TOP榜：哪些问题最容易引发客户不满？ SELECT intent AS '意图', COUNT(*) AS '负面会话数' FROM chat_analysis WHERE sentiment = 'negative' GROUP BY intent ORDER BY COUNT(*) DESC LIMIT 10;

这几条SQL跑下来，你马上就能知道：最近客户主要关心什么？整体满意度怎么样？哪个业务环节的投诉最多？

5.2 关联分析与深度挖掘

更进一步，我们可以做更细粒度的分析。

-- 4. 结合时间维度：负面情绪有随时间变化的趋势吗？ SELECT DATE(analysis_time) AS '分析日期', sentiment AS '情感倾向', COUNT(*) AS '会话量' FROM chat_analysis WHERE analysis_time > DATE_SUB(NOW(), INTERVAL 30 DAY) -- 最近30天 GROUP BY DATE(analysis_time), sentiment ORDER BY DATE(analysis_time) DESC, sentiment; -- 5. 提取的关键信息分析：哪个订单号或产品被频繁提及？ -- 假设key_info里存的是JSON，如 {"order_id": "123456", "product": "Phone-X"} -- MySQL 5.7+ 支持JSON函数，可以提取特定字段 SELECT JSON_EXTRACT(key_info, '$.order_id') AS '订单号', COUNT(*) AS '提及次数' FROM chat_analysis WHERE JSON_EXTRACT(key_info, '$.order_id') IS NOT NULL AND JSON_EXTRACT(key_info, '$.order_id') != '' GROUP BY JSON_EXTRACT(key_info, '$.order_id') HAVING COUNT(*) > 1 -- 出现超过1次，可能是问题订单 ORDER BY COUNT(*) DESC LIMIT 20;

这样的分析，能帮你定位到具体的问题订单或高频问题产品，实现从“宏观洞察”到“微观定位”。