当前位置：首页 > news >正文

Qwen2.5-VL-7B-Instruct企业实操：与OA系统集成实现会议纪要图文自动归档

news 2026/8/29 5:05:13

Qwen2.5-VL-7B-Instruct企业实操：与OA系统集成实现会议纪要图文自动归档

想象一下这个场景：公司每周的例会刚结束，行政同事小张就收到了一堆任务——整理会议照片、誊写白板上的手写要点、把讨论的图表归档到系统里。她需要花上大半天时间，手动整理、分类、录入，不仅效率低下，还容易出错。如果有一个智能助手，能自动“看懂”会议现场的照片、白板内容、PPT截图，并生成结构化的会议纪要，直接存入公司的OA系统，那该多好？

今天，我们就来把这个想象变成现实。借助Qwen2.5-VL-7B-Instruct这个强大的多模态视觉-语言模型，我们可以构建一个智能化的会议纪要归档系统。它不仅能理解文字，更能“看懂”图片，实现图文信息的自动提取与归档。本文将手把手带你完成从模型部署到与企业OA系统集成的全流程实战。

1. 项目蓝图：我们要解决什么问题？

在深入代码之前，我们先明确目标和价值。传统的会议纪要归档流程存在几个痛点：

信息割裂：会议讨论的实体（白板草图、投影PPT、现场照片）与最终的电子纪要分离，查阅不便。
效率低下：人工整理、转录、录入耗时耗力，占用大量行政或助理的工作时间。
易出错漏：人工处理容易遗漏图片中的关键信息，或转录时产生偏差。
检索困难：归档后，基于图片内容的检索几乎无法实现，知识资产利用率低。

我们的解决方案是构建一个自动化流水线：

信息采集：会议结束后，收集相关的图片素材（白板照片、PPT截图、现场图等）。
智能解析：使用Qwen2.5-VL-7B-Instruct模型，自动分析图片内容，提取关键信息（议题、结论、待办事项、图表数据等）。
结构化生成：将提取的信息整理成标准格式的会议纪要文本。
系统集成：通过API将生成的纪要自动推送至企业OA系统（如钉钉、飞书、企业微信的审批流或知识库）进行归档。

这个方案的核心优势在于，它利用多模态模型的“视觉理解”能力，打通了物理世界（会议现场）与数字世界（OA系统）的信息壁垒。

2. 环境搭建：快速部署Qwen2.5-VL-7B-Instruct

工欲善其事，必先利其器。首先，我们需要在服务器上把模型跑起来。Qwen2.5-VL-7B-Instruct是一个约16GB（BF16精度）的模型，建议使用显存不小于16GB的GPU以获得流畅体验。

2.1 一键启动（最简方式）

如果你使用的是预配置的环境（例如一些云平台提供的镜像），通常已经准备好了启动脚本。这是最快捷的方式：

# 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 执行启动脚本 ./start.sh

执行后，脚本会自动处理环境激活、依赖检查、模型加载等步骤。当你在终端看到类似“Running on local URL: http://0.0.0.0:7860”的提示时，说明服务已经启动成功。

2.2 手动启动（深入了解过程）

如果你想更清晰地了解启动流程，或者需要自定义配置，可以手动执行以下步骤：

# 1. 激活预先配置好的Python环境（环境名称可能因镜像而异） conda activate torch29 # 2. 进入项目目录 cd /root/Qwen2.5-VL-7B-Instruct-GPTQ # 3. 启动Gradio交互式Web应用 python /root/Qwen2.5-VL-7B-Instruct-GPTQ/app.py

无论哪种方式，启动成功后，打开你的浏览器，访问http://你的服务器IP地址:7860，就能看到一个简洁的Web界面。你可以在这里上传图片，并用自然语言向模型提问，进行初步的测试和体验。

3. 核心实战：构建会议纪要自动解析引擎

模型服务化之后，我们需要编写一个Python客户端，以编程方式调用它，这是系统集成的关键。我们将创建一个MeetingMinutesParser类。

3.1 基础调用：让模型“看懂”会议图片

首先，实现最基本的图片解析功能。我们准备一张会议白板的照片，让模型描述其中的内容。

import requests import base64 from PIL import Image import io import json class MeetingMinutesParser: def __init__(self, base_url="http://localhost:7860"): """ 初始化解析器 :param base_url: Qwen2.5-VL模型服务的地址 """ self.base_url = base_url self.api_url = f"{base_url}/api/chat" # 假设Gradio应用暴露了此API端点 def _encode_image_to_base64(self, image_path): """将图片文件编码为Base64字符串""" with open(image_path, "rb") as image_file: return base64.b64encode(image_file.read()).decode('utf-8') def parse_image_content(self, image_path, prompt="请详细描述这张图片中的内容。"): """ 向模型发送图片和提示，获取解析结果 :param image_path: 图片文件路径 :param prompt: 给模型的指令 :return: 模型返回的文本结果 """ # 准备请求数据 image_base64 = self._encode_image_to_base64(image_path) # 构建符合模型预期的消息格式 # 注意：实际格式需根据你部署的Gradio app的API接口调整 messages = [ { "role": "user", "content": [ {"type": "text", "text": prompt}, {"type": "image_url", "image_url": {"url": f"data:image/jpeg;base64,{image_base64}"}} ] } ] payload = { "model": "Qwen2.5-VL-7B-Instruct", "messages": messages, "max_tokens": 1024 } try: response = requests.post(self.api_url, json=payload, timeout=60) response.raise_for_status() result = response.json() # 解析返回内容，这里需要根据实际API响应结构调整 # 例如，可能是 result['choices'][0]['message']['content'] return result.get('content', str(result)) except requests.exceptions.RequestException as e: return f"API请求失败: {e}" except KeyError as e: return f"解析响应数据失败: {e}，原始响应: {result}" # 使用示例 if __name__ == "__main__": parser = MeetingMinutesParser() # 假设有一张名为 `whiteboard_meeting.jpg` 的白板会议照片 description = parser.parse_image_content("whiteboard_meeting.jpg") print("模型对图片的描述：") print(description)

运行这段代码，模型会返回对白板内容的详细描述，比如：“图片显示了一个白板，上面用黑色马克笔写着‘Q3产品规划’，下面列出了三个要点：1. 优化用户登录流程（王伟负责，9月30日前完成）2. 开发数据看板新功能（李娜负责，10月15日前）3. 调研AI助手集成可行性（全体，10月前反馈）。右下角有一个手绘的简易时间轴。”

3.2 进阶解析：提取结构化会议纪要

简单的描述还不够，我们需要结构化的数据。通过设计更精准的提示词（Prompt），引导模型输出JSON格式的会议纪要。

def extract_structured_minutes(self, image_path_list): """ 解析多张会议图片，生成结构化的会议纪要JSON。 :param image_path_list: 会议相关图片路径列表 :return: 结构化的会议纪要字典 """ structured_prompt = """ 你是一个专业的会议秘书。请根据提供的会议现场图片，提取并生成一份结构化的会议纪要。 请严格按照以下JSON格式输出，不要输出任何其他解释性文字： { "meeting_topic": "会议主题", "date": "会议日期（如果图片中有）", "attendees": ["参会人1", "参会人2", ...], // 从图片中识别或推断 "key_points": [ { "topic": "讨论要点标题", "description": "要点详细描述", "action_item": "待办事项", "owner": "负责人", "deadline": "截止时间" } ], "decisions_made": ["决定1", "决定2", ...], "next_steps": ["下一步行动1", "下一步行动2", ...] } 如果某些信息在图片中无法确定，请将对应字段值设为 null。 现在开始分析图片。 """ # 在实际调用中，可能需要将多张图片和提示词一起发送给模型 # 这里简化处理，假设我们主要分析白板图，其他图为辅助 primary_image_path = image_path_list[0] analysis_result = self.parse_image_content(primary_image_path, structured_prompt) # 尝试从返回文本中解析JSON import re json_match = re.search(r'\{.*\}', analysis_result, re.DOTALL) if json_match: try: minutes_json = json.loads(json_match.group()) return minutes_json except json.JSONDecodeError: print("模型返回了非标准JSON，尝试清理后解析...") # 简易清理：模型可能在JSON前后添加了markdown代码块标记或额外文字 cleaned_text = analysis_result.strip().replace('```json', '').replace('```', '') try: minutes_json = json.loads(cleaned_text) return minutes_json except: return {"error": "无法解析模型返回的结构化数据", "raw_output": analysis_result} else: return {"error": "未在返回中找到JSON结构", "raw_output": analysis_result} # 使用示例 if __name__ == "__main__": parser = MeetingMinutesParser() image_list = ["whiteboard_meeting.jpg", "ppt_slide1.png"] # 白板图和一张PPT截图 minutes = parser.extract_structured_minutes(image_list) print("提取的结构化会议纪要：") print(json.dumps(minutes, indent=2, ensure_ascii=False))

通过这个精心设计的提示词，模型会努力从图片中识别并填充JSON的各个字段，输出一个可以直接被其他系统处理的标准化会议纪要对象。

4. 系统集成：连接企业OA自动化归档

有了结构化的会议纪要数据，最后一步就是将其送入企业的OA系统。这里以国内常用的钉钉审批流程为例，展示如何通过OA平台提供的开放API进行集成。

4.1 封装OA系统API客户端

我们需要根据目标OA系统的API文档，编写一个客户端。以下是一个模拟钉钉创建审批实例的示例：

import time import hmac import hashlib import base64 import urllib.parse class DingTalkOAIntegrator: def __init__(self, app_key, app_secret, agent_id): self.app_key = app_key self.app_secret = app_secret self.agent_id = agent_id self.access_token = None self.token_expire_time = 0 def _get_access_token(self): """获取钉钉API访问令牌""" if time.time() < self.token_expire_time - 60 and self.access_token: return self.access_token url = "https://oapi.dingtalk.com/gettoken" params = {"appkey": self.app_key, "appsecret": self.app_secret} resp = requests.get(url, params=params) result = resp.json() if result.get('errcode') == 0: self.access_token = result['access_token'] self.token_expire_time = time.time() + result['expires_in'] return self.access_token else: raise Exception(f"获取AccessToken失败: {result}") def create_approval_instance(self, process_code, originator_user_id, form_component_values, minutes_summary): """ 在钉钉创建一个审批实例，用于归档会议纪要 :param process_code: 审批流程模板CODE :param originator_user_id: 发起人工号 :param form_component_values: 审批单表单内容 :param minutes_summary: 会议纪要摘要，用于审批单标题或备注 :return: 审批实例ID """ token = self._get_access_token() url = f"https://oapi.dingtalk.com/topapi/processinstance/create?access_token={token}" # 构建请求体，将会议纪要内容填入审批单的对应字段 payload = { "process_code": process_code, "originator_user_id": originator_user_id, "dept_id": -1, # 根据实际情况填写 "approvers": "manager_user_id1,manager_user_id2", # 审批人 "form_component_values": form_component_values + [ { "name": "会议纪要内容", "value": json.dumps(minutes_summary, ensure_ascii=False) # 将整个JSON作为内容存入 }, { "name": "纪要摘要", "value": f"【自动生成】{minutes_summary.get('meeting_topic', '会议')}纪要" } ] } resp = requests.post(url, json=payload) result = resp.json() if result.get('errcode') == 0: print(f"会议纪要审批单创建成功，实例ID: {result.get('process_instance_id')}") return result.get('process_instance_id') else: print(f"创建审批单失败: {result}") return None

4.2 组装自动化流水线

现在，我们将图片解析和OA集成两部分连接起来，形成一个完整的自动化工作流。

def automated_meeting_minutes_pipeline(image_folder_path, oa_integrator, process_code, originator_id): """ 自动化会议纪要处理流水线 1. 扫描文件夹中的图片 2. 调用模型解析 3. 推送至OA系统 """ import os # 1. 收集图片 supported_ext = ['.jpg', '.jpeg', '.png', '.bmp'] image_files = [os.path.join(image_folder_path, f) for f in os.listdir(image_folder_path) if os.path.splitext(f)[1].lower() in supported_ext] if not image_files: print("指定文件夹中未找到支持的图片文件。") return print(f"找到 {len(image_files)} 张待处理图片。") # 2. 解析图片生成纪要 parser = MeetingMinutesParser() print("正在调用Qwen2.5-VL模型解析会议内容...") structured_minutes = parser.extract_structured_minutes(image_files) if "error" in structured_minutes: print(f"解析失败: {structured_minutes['error']}") return print("会议纪要解析成功！") # 3. 准备OA系统表单数据 (示例字段，需根据实际审批模板调整) form_values = [ {"name": "会议主题", "value": structured_minutes.get("meeting_topic", "未识别")}, {"name": "会议日期", "value": structured_minutes.get("date", "未识别")}, # 可以继续添加其他字段... ] # 4. 调用OA接口创建审批单进行归档 print("正在向OA系统提交会议纪要审批单...") instance_id = oa_integrator.create_approval_instance( process_code=process_code, originator_user_id=originator_id, form_component_values=form_values, minutes_summary=structured_minutes ) if instance_id: print("✅ 会议纪要已成功提交至OA系统，进入归档审批流程！") # 可选：将原始图片和生成的JSON文件也备份到指定位置 backup_data(structured_minutes, image_files) else: print("❌ OA系统归档失败。") def backup_data(minutes_json, image_paths): """备份生成的纪要数据和原始图片""" import shutil import os timestamp = time.strftime("%Y%m%d_%H%M%S") backup_dir = f"./meeting_backup_{timestamp}" os.makedirs(backup_dir, exist_ok=True) # 保存JSON with open(os.path.join(backup_dir, "minutes.json"), 'w', encoding='utf-8') as f: json.dump(minutes_json, f, indent=2, ensure_ascii=False) # 复制图片 for img_path in image_paths: shutil.copy2(img_path, backup_dir) print(f"数据已备份至: {backup_dir}") # 主程序入口 if __name__ == "__main__": # 配置OA集成参数（需从企业钉钉管理后台获取） dingtalk_config = { "app_key": "YOUR_APP_KEY", "app_secret": "YOUR_APP_SECRET", "agent_id": "YOUR_AGENT_ID" } oa_integrator = DingTalkOAIntegrator(**dingtalk_config) # 指定存放会议图片的文件夹 meeting_images_folder = "./meeting_photos_20231027" # 指定审批流程模板CODE和发起人 approval_process_code = "PROC-XXXXXX-YYYY-ZZZZ" # 实际的审批模板CODE originator_user_id = "manager123" # 发起人工号 # 运行自动化流水线 automated_meeting_minutes_pipeline( meeting_images_folder, oa_integrator, approval_process_code, originator_user_id )

运行这个脚本，整个从图片到OA归档的流程就自动完成了。行政人员只需要将会议照片放入指定文件夹，剩下的工作全部由系统接管。