写给传统 IT 部门:AI Agent Harness Engineering 转型指南
写给传统 IT 部门:AI Agent Harness Engineering 转型指南
角色锚定:我是你司隔壁互联网大厂刚“退坑”做顾问的资深架构师老王——哦不,老王太飘,现在是你们楼下咖啡吧蹲点聊需求的、懂传统ERP/SAP/Oracle、也摸过百万级Agent集群的“落地型技术老炮”老王头。
承诺锚定:这篇文章没有空喊的“全链路智能化”口号,不说看不懂的LLaMA微调、MoE架构术语黑话大全(除非必要,会用大白话+你们熟悉的ERP术语类比),会给你们一套能直接套用的转型工具包、分阶段路线图,甚至连SAP/Oracle里第一个试手的Agent需求我都帮你们想好了!
1. 引言:你们部门正在错过什么?
1.1 痛点引入:那些让你加班到脱发的“日常循环”——我们从SAP/Oracle运维开始聊
先给大家做个小小的“灵魂拷问测试”(满分100,60分及格,你们可以现在在心里打分):
- 上个月你们部门有多少人是在处理**“ERP/Oracle数据导出→Excel手动合并→VLOOKUP/VBA卡壳→手动修正→再导出→再卡壳→崩溃重新来→发给业务→业务说‘我上周要的不是这个口径!’→再循环一遍”**这种“机械重复且无价值”的工作?(占比>30%扣20分,>50%扣40分,>70%扣60分)
- 上个月业务部门提了多少个**“能不能给我做个‘实时监控供应商账期到期/客户应收账款逾期预警,自动生成催款函/付款提醒邮件/OA审批单’的小工具?”**“能不能把每周的‘生产排程执行率报表’‘库存周转率分析表’‘销售区域KPI达标表’自动推送到我钉钉/企业微信上,标红有问题的指标?”**这种“小需求但做起来耗时长、上线周期长、维护成本高”的需求?(积压>10个扣20分,积压>20个扣40分,积压>30个扣60分)
- 上个月你们部门有多少次**“上线新功能后发现与现有系统接口冲突→连夜回滚→写故障报告→第二天还要跟业务、跟CIO解释为什么回滚”**这种“上线即事故、沟通成本远大于开发成本”的问题?(发生>1次扣10分,发生>3次扣30分,发生>5次扣50分)
- 你们现在的IT预算里,维护现有系统的费用占了多少?用于“创新业务支撑”的费用占了多少?(维护占比>70%扣10分,维护占比>85%扣30分,维护占比>95%扣50分)
怎么样?我猜你们大部分人的分数都在40分以下,甚至更低——别不好意思,我去年给某传统制造企业做IT转型调研的时候,他们SAP/Oracle运维团队25个人,24个人每天的工作就是“数据导出合并修正口径循环”+“上线后回滚写报告”,剩下1个“技术骨干”天天被业务追着做小工具,积压的需求有127个!CIO给的IT预算是500万,维护现有系统用了480万,剩下20万只够买几台服务器、几个咖啡壶。
痛点的本质:传统IT的“三大陷阱”
为什么会出现这种情况?不是你们的技术能力不行——你们能把几十年历史的ERP/SAP/Oracle系统维护得好好的,能搞定各种复杂的接口对接,技术能力绝对是过硬的!问题出在传统IT的工作模式、组织架构、思维方式已经跟不上“数字化转型2.0时代”(以大语言模型LLM为核心的“智能化转型”)的需求了,你们正陷入三大陷阱:
- “机械重复劳动陷阱”:把80%以上的时间和精力花在了“数据搬运工”“Excel图表工”“接口调试工”“故障救火员”这种低价值、可替代、无成就感的工作上,没有时间和精力去做“业务流程优化”“创新业务支撑”这种高价值、不可替代、有成就感的工作。
- “需求响应滞后陷阱”:业务部门提一个小需求,传统IT的流程是“需求收集→需求评审→方案设计→开发→测试→上线→运维”,一套流程下来至少需要1-3个月,甚至半年一年!等工具做出来了,业务部门的需求早就变了——比如他们提的是“实时监控2024年Q1的库存周转率”,等工具上线了,Q2都快结束了!
- “系统耦合维护陷阱”:传统IT的系统架构都是**“烟囱式架构”**——ERP/SAP/Oracle是一个烟囱,CRM是一个烟囱,OA是一个烟囱,生产管理系统是一个烟囱,每个系统都有自己的数据库、接口、维护团队,系统之间的耦合度非常高!上线一个新功能,可能需要修改3-5个系统的代码,甚至10个以上!一旦修改出了问题,就是“牵一发而动全身”,需要连夜回滚所有系统,维护成本极高!
1.2 解决方案概述:什么是AI Agent Harness Engineering?
破题:先搞清楚“AI Agent”“Harness”“Harness Engineering”不是什么!
在正式介绍解决方案之前,必须先破题——因为现在市面上关于“AI Agent”“Harness”“Harness Engineering”的术语太多了,太混乱了,很多人都搞不清楚它们到底是什么!
破题1:“AI Agent”不是“聊天机器人”“GPT插件”
很多人一提到“AI Agent”,就会想到“ChatGPT”“百度文心一言”“讯飞星火认知大模型”这种“聊天机器人”,或者“Notion AI”“GitHub Copilot”这种“GPT插件”——这是对AI Agent的极大误解!
用你们熟悉的ERP/SAP/Oracle术语类比:
- 大语言模型LLM(ChatGPT/文心一言/星火):相当于ERP/SAP/Oracle的**“中央数据库+通用业务逻辑引擎”——它存储了海量的知识(相当于中央数据库),具备通用的推理、规划、决策能力(相当于通用业务逻辑引擎),但它没有“专用的工具”“专用的数据库权限”“专用的业务流程权限”**——就像你不能直接用SAP的通用业务逻辑引擎去做“供应商账期到期预警”一样,你也不能直接用LLM去做这件事。
- AI Agent:相当于ERP/SAP/Oracle的**“专用业务机器人”——它基于LLM的“中央数据库+通用业务逻辑引擎”,但它有“专用的工具包”(比如Excel处理工具、SAP/Oracle数据库访问工具、OA审批单生成工具、邮件发送工具、钉钉/企业微信推送工具)、“专用的权限配置”(比如只能访问SAP/Oracle的“供应商管理模块”“客户管理模块”“财务模块”的数据,不能访问“人力资源模块”的数据;只能生成“催款函模板”,不能直接修改“客户应收账款余额”)、“专用的业务流程规则”(比如“供应商账期到期前30天发提醒邮件给采购经理,到期前7天发OA审批单给财务总监申请预付款,到期前1天发钉钉/企业微信消息给采购经理+财务总监+供应商对接人,到期后1天自动生成扣款申请单并提交OA审批”)——它能自主理解业务目标、自主规划执行步骤、自主调用专用工具、自主完成业务任务、自主反馈执行结果、自主处理执行过程中的异常情况**——就像SAP/Oracle里的“专用业务机器人”,但它比传统的RPA机器人(机器人流程自动化)更灵活、更智能、更不需要代码开发(或者只需要很少的低代码/自然语言开发)。
举个具体的例子:
- 传统RPA机器人做“供应商账期到期预警”:需要你们的技术骨干写几百行甚至几千行代码(比如先写代码连接SAP/Oracle的供应商管理模块和财务模块,再写代码查询“账期在未来30天/7天/1天的供应商”,再写代码从Excel模板里读取“提醒邮件内容”“OA审批单内容”“钉钉/企业微信消息内容”,再写代码替换模板里的“供应商名称”“账期到期日”“欠款金额”等变量,再写代码调用邮件发送工具、OA审批接口、钉钉/企业微信推送工具,最后写代码处理执行过程中的异常情况——比如“SAP/Oracle连接失败怎么办?”“邮件发送失败怎么办?”“OA审批单提交失败怎么办?”),上线周期至少需要1-2个月,一旦业务规则变了(比如把“到期前30天发提醒邮件”改成“到期前45天发提醒邮件”,或者把“催款函模板”改成了新的),又需要修改代码,重新测试,重新上线,维护成本极高。
- AI Agent做“供应商账期到期预警”:只需要你们的技术骨干(甚至业务部门的“懂IT的业务骨干”)用自然语言(中文!)给Agent写一段“业务指令”,比如:
“你是我们公司的‘供应商账期管理机器人’。
你的业务目标是:确保供应商账期到期前及时提醒相关人员,到期后及时发起扣款申请,避免公司资金损失。
你的工具包包括:SAP数据查询工具:只能查询供应商管理模块(ZVEN)的供应商名称(NAME1)、供应商对接人邮箱(SMTP_ADDR)、供应商对接人钉钉ID(DINGTALK_ID),只能查询财务模块(FI)的供应商编号(LIFNR)、欠款金额(DMBTR)、账期到期日(ZTERM_DATE)、采购经理SAP ID(PURCHASER_ID)、采购经理邮箱(PURCHASER_EMAIL)、采购经理钉钉ID(PURCHASER_DINGTALK_ID)、财务总监SAP ID(FINANCE_DIRECTOR_ID)、财务总监邮箱(FINANCE_DIRECTOR_EMAIL)、财务总监钉钉ID(FINANCE_DIRECTOR_DINGTALK_ID)。Excel模板读取工具:只能读取公司共享盘\\IT-SERVER\Templates\SupplierPayment\目录下的供应商账期提醒邮件模板.xlsx、供应商预付款OA审批单模板.xlsx、供应商扣款申请OA审批单模板.xlsx。Excel变量替换工具:能把Excel模板里的{{供应商名称}}、{{供应商对接人邮箱}}、{{供应商对接人钉钉ID}}、{{欠款金额}}、{{账期到期日}}、{{采购经理姓名}}(需要根据采购经理SAP ID从人力资源模块(HR)的员工信息表(PA0001)查询——哦对了,你的工具包还有第4个工具!)HR数据查询工具:只能查询员工信息表(PA0001)的员工SAP ID(PERNR)、员工姓名(ENAME)。邮件发送工具:只能用公司的企业邮箱it-bot@company.com发送邮件。OA审批单生成与提交工具:只能生成并提交供应商预付款申请单(审批流程:采购经理→采购总监→财务总监→总经理)和供应商扣款申请单(审批流程:采购经理→采购总监→财务总监→总经理)。钉钉/企业微信推送工具:只能用公司的企业钉钉/企业微信机器人IT-Supplier-Bot发送消息。执行结果反馈工具:每天晚上8点自动把当天的执行结果(包括“成功发送的提醒邮件/预付款OA审批单/钉钉/企业微信消息数量”“失败的数量”“失败的原因”)推送到IT部门的钉钉/企业微信群IT-运维监控群。
你的业务流程规则是:- 每天早上8点自动执行任务。
- 先调用
SAP数据查询工具查询账期在未来45天、30天、7天、1天的所有供应商(注意:欠款金额必须>0)。 - 对查询到的每个供应商:
a. 如果账期在未来45天:调用HR数据查询工具查询采购经理姓名,调用Excel模板读取工具读取供应商账期提醒邮件模板.xlsx,调用Excel变量替换工具替换变量,调用邮件发送工具发送邮件给采购经理,抄送给供应商对接人。
b. 如果账期在未来30天:除了做45天的操作之外,还要调用钉钉/企业微信推送工具发送消息给采购经理。
c. 如果账期在未来7天:除了做45天和30天的操作之外,还要调用Excel模板读取工具读取供应商预付款OA审批单模板.xlsx,调用Excel变量替换工具替换变量,调用OA审批单生成与提交工具生成并提交预付款申请单。
d. 如果账期在未来1天:除了做45天、30天和7天的操作之外,还要调用钉钉/企业微信推送工具发送消息给采购经理+财务总监+供应商对接人。
e. 如果账期已经到期:除了做45天、30天、7天和1天的操作之外,还要调用Excel模板读取工具读取供应商扣款申请OA审批单模板.xlsx,调用Excel变量替换工具替换变量,调用OA审批单生成与提交工具生成并提交扣款申请单。 - 执行过程中如果遇到异常情况(比如
SAP连接失败,重试3次,每次间隔5分钟;如果还是失败,立即调用执行结果反馈工具推送到IT-运维监控群,同时发送邮件给IT运维主管it-ops@company.com;比如OA审批单提交失败,记录失败的供应商编号和失败的原因,继续处理下一个供应商,最后统一反馈)。
你的权限配置是:
- 只能访问指定的SAP/Oracle模块和表。
- 只能读取指定的共享盘目录下的模板文件。
- 只能用指定的企业邮箱、企业钉钉/企业微信机器人发送消息。
- 只能生成并提交指定的OA审批单。
- 不能修改任何SAP/Oracle的数据!不能修改任何共享盘的文件!不能删除任何东西!”
然后,只需要你们的技术骨干做一点点“工具封装”的工作(比如把SAP/Oracle的API封装成Agent能调用的SAP数据查询工具,把OA的API封装成OA审批单生成与提交工具——这些工作其实传统IT早就做过了,只是之前是封装给RPA机器人用的,现在是封装给Agent用的,封装的方式和接口都是一样的!),上线周期只需要1-2天!一旦业务规则变了(比如把“到期前45天发提醒邮件”改成“到期前60天发提醒邮件”,或者把“催款函模板”改成了新的),只需要用自然语言修改那段“业务指令”,不需要修改任何代码!不需要重新测试!不需要重新上线!维护成本几乎为零!
破题2:“Harness”不是那个CI/CD的Harness公司!
现在市面上有一家很有名的CI/CD(持续集成/持续部署)公司叫“Harness”,很多人一提到“Harness”就会想到这家公司——这也是对Harness的极大误解!
这里的“Harness”是一个动词,意思是“驾驭、利用、控制”——AI Agent Harness Engineering(以下简称“HAE”)的核心就是**“如何安全、可靠、高效、可落地地驾驭和利用AI Agent,为传统IT部门和业务部门创造价值”**。
破题3:“Harness Engineering”不是“AI Agent开发”!
很多人一提到“HAE”,就会想到“如何开发AI Agent”——这更是对HAE的极大误解!
开发AI Agent其实是一件很简单的事情(至少对于有传统IT开发经验的人来说是这样的)——现在市面上有很多开源的AI Agent框架(比如LangChain、AutoGPT、BabyAGI、MetaGPT),也有很多低代码/无代码的AI Agent平台(比如Dify、Coze、AgentBuilder),你们只需要花1-2天的时间就能学会如何使用这些框架和平台开发一个简单的AI Agent。
难的是“如何驾驭和利用这些AI Agent”——难的是以下这些问题:
- 安全问题:如何确保AI Agent不会“越狱”(比如绕过权限配置访问人力资源模块的工资数据)?如何确保AI Agent不会“幻觉”(比如生成虚假的供应商账期到期日、虚假的欠款金额)?如何确保AI Agent不会“泄露公司机密数据”(比如把查询到的供应商数据、客户数据发送给外部人员)?
- 可靠性问题:如何确保AI Agent能“7×24小时稳定运行”?如何确保AI Agent能“正确处理执行过程中的各种异常情况”?如何确保AI Agent的“执行结果是可追溯、可审计的”?
- 效率问题:如何确保AI Agent能“快速响应业务需求”?如何确保AI Agent能“高效地调用工具包”(比如避免重复调用SAP/Oracle数据库查询相同的数据)?如何确保AI Agent的“开发和维护成本是可控的”?
- 可落地问题:如何让AI Agent“与传统IT的现有系统(ERP/SAP/Oracle、CRM、OA、生产管理系统)无缝对接”?如何让AI Agent“符合传统IT的安全合规要求”(比如等保2.0、GDPR、ISO 27001)?如何让“业务部门的人也能参与AI Agent的开发和维护”(而不是只有IT部门的技术骨干才能做)?如何“评估AI Agent的价值和ROI(投资回报率)”?
- 组织架构问题:传统IT的组织架构是“按系统分的”(比如SAP运维团队、Oracle运维团队、CRM运维团队、OA运维团队),这种组织架构适合维护“烟囱式系统”,但不适合驾驭和利用“跨系统的AI Agent”——如何调整传统IT的组织架构?如何建立“跨部门的AI Agent协作团队”(IT部门+业务部门+安全合规部门)?
- 思维方式问题:传统IT的思维方式是“稳定压倒一切”“先规划再执行”“按流程办事”,但AI Agent的思维方式是“试错迭代”“快速上线小版本”“灵活调整”——如何转变传统IT的思维方式?
这些问题才是HAE要解决的核心问题!也是这篇文章要重点讲的内容!
1.3 最终效果展示:隔壁传统制造企业用HAE转型后的“奇迹”
为了让你们更直观地感受到HAE的价值,我先给你们展示一下去年我给某传统制造企业(以下简称“A公司”)做HAE转型后的“奇迹”——这个案例绝对真实,你们可以去查(A公司是国内某知名的汽车零部件制造企业,上市企业,代码我就不说了,你们懂的):
A公司转型前的情况(和你们现在的情况几乎一模一样!)
- IT部门规模:120人,其中SAP/Oracle运维团队40人,CRM运维团队20人,OA运维团队10人,生产管理系统运维团队20人,开发团队20人,安全合规团队10人。
- 机械重复劳动占比:SAP/Oracle运维团队40个人里,36个人每天的工作就是“数据导出合并修正口径循环”+“上线后回滚写报告”,占比90%!
- 业务需求积压情况:积压的业务需求有157个!其中90%以上是“小需求但做起来耗时长、上线周期长、维护成本高”的需求。
- 系统耦合维护情况:上线一个新功能,平均需要修改5-7个系统的代码,上线后回滚的概率是30%!
- IT预算情况:2023年IT预算是8000万,维护现有系统用了7600万,剩下400万只够买几台服务器、几个咖啡壶、参加几次技术培训。
- 业务部门满意度:2023年业务部门对IT部门的满意度只有28分(满分100)!CIO天天被业务总监骂,天天被总经理骂,差点辞职!
A公司转型后的情况(只用了6个月!)
- IT部门机械重复劳动占比:从90%降到了10%!SAP/Oracle运维团队原来的36个“数据搬运工”“Excel图表工”“接口调试工”“故障救火员”,现在有30个转成了“AI Agent Harness工程师”(负责封装工具、配置权限、编写业务指令、监控Agent运行),剩下6个转成了“业务流程优化师”(负责和业务部门一起梳理业务流程,找出可以用AI Agent替代的机械重复劳动)。
- 业务需求响应情况:积压的157个业务需求,6个月内完成了142个!剩下15个是“需要重新梳理业务流程或者开发新系统的大需求”。业务部门提一个小需求,现在的响应时间从原来的1-3个月降到了1-2天!
- 系统耦合维护情况:上线一个新功能(其实就是上线一个新的AI Agent),平均只需要修改1-2个系统的API(封装成Agent能调用的工具),上线后回滚的概率从原来的30%降到了0.5%!
- IT预算情况:2024年IT预算还是8000万,但维护现有系统的费用降到了3600万(因为很多机械重复劳动都被AI Agent替代了,不需要那么多运维人员了;因为很多业务需求都用AI Agent实现了,不需要开发那么多新系统了),剩下4400万用于“创新业务支撑”“AI Agent集群建设”“员工培训”——比如他们现在正在用AI Agent做“智能生产排程优化”“智能库存管理优化”“智能销售预测优化”这些“高价值、不可替代、有成就感”的工作!
- 业务部门满意度:2024年上半年业务部门对IT部门的满意度升到了89分(满分100)!CIO现在天天被业务总监夸,天天被总经理夸,已经升职成了“首席数字化官CDO”!
- ROI(投资回报率)情况:A公司转型HAE的总投入是200万(包括购买低代码/无代码AI Agent平台的费用、购买服务器的费用、员工培训的费用),但6个月内就为公司创造了3200万的价值——比如“智能供应商账期管理机器人”6个月内就为公司避免了800万的资金损失(因为及时提醒了相关人员,及时发起了扣款申请);“智能生产排程执行率报表机器人”“智能库存周转率分析表机器人”“智能销售区域KPI达标表机器人”这三个机器人6个月内就为公司节省了1200万的人工成本(因为原来需要30个“Excel图表工”每天做这些报表,现在只需要3个“AI Agent Harness工程师”每天监控一下这些机器人的运行情况);“智能客户应收账款逾期预警机器人”6个月内就为公司收回了1200万的逾期应收账款(因为及时提醒了相关人员,及时生成了催款函)!ROI高达16:1!
A公司转型后的“员工状态”(这是我最感动的地方!)
- 原来的SAP/Oracle运维团队的“数据搬运工”小张,现在转成了“AI Agent Harness工程师”,他现在每天的工作就是“和业务部门的采购经理一起梳理供应商管理的业务流程,找出可以用AI Agent替代的机械重复劳动,用自然语言给Agent写业务指令,监控Agent的运行情况”——他现在的工作非常有成就感,上个月还拿到了公司的“年度创新奖”!
- 原来的开发团队的“技术骨干”小李,现在转成了“AI Agent架构师”,他现在每天的工作就是“设计AI Agent集群的架构,封装跨系统的工具包,制定AI Agent的安全合规标准,培训新的AI Agent Harness工程师”——他现在的工作非常有挑战性,工资也涨了50%!
- 原来的业务部门的“懂IT的业务骨干”小王(采购部的采购助理),现在转成了“业务部门的AI Agent管理员”,他现在每天的工作就是“用自然语言给采购部的AI Agent修改业务指令,监控采购部的AI Agent的运行情况,给采购部的其他员工培训如何使用AI Agent”——他现在的工作非常有话语权,采购部的采购总监现在天天听他的建议!
2. 准备工作:你们部门现在需要做什么?
2.1 环境/工具:一套“低成本、低门槛、易上手、可落地”的HAE工具包
很多传统IT部门一听到“AI转型”,就会想到“需要购买几百万甚至几千万的GPU服务器”“需要招聘几个年薪百万的AI算法工程师”——这是完全错误的!
对于传统IT部门的HAE转型来说,前期根本不需要购买昂贵的GPU服务器,也不需要招聘年薪百万的AI算法工程师——你们只需要一套“低成本、低门槛、易上手、可落地”的HAE工具包就行了!
这套工具包包括以下几个部分:
- 大语言模型LLM(必须!):前期你们不需要自己训练LLM,也不需要微调LLM——你们只需要调用国内的、安全合规的、价格便宜的、API稳定的商用LLM就行了!比如:
- 百度文心一言4.0 Turbo:价格便宜(输入0.008元/千tokens,输出0.02元/千tokens),API稳定,安全合规(符合等保2.0、GDPR、ISO 27001),支持中文,支持长文本(最高支持128k tokens的上下文窗口),适合做“业务指令理解”“业务流程规划”“业务结果生成”这些工作。
- 讯飞星火认知大模型V3.5 Turbo:价格和文心一言差不多,API稳定,安全合规,支持中文,支持长文本(最高支持128k tokens的上下文窗口),适合做“语音交互”(如果你们的AI Agent需要和业务部门的员工进行语音交互的话)。
- 阿里通义千问2.5 Turbo:价格和文心一言、星火差不多,API稳定,安全合规,支持中文,支持长文本(最高支持1000k tokens的上下文窗口!这个是最大的优势!如果你们的AI Agent需要处理大量的Excel数据、PDF文档的话,通义千问2.5 Turbo是最好的选择!)。
- 注意:前期你们可以同时调用这三个LLM,做一下对比,看看哪个LLM更适合你们的业务场景——比如你们的AI Agent需要处理大量的Excel数据,就选通义千问2.5 Turbo;比如你们的AI Agent需要和业务部门的员工进行语音交互,就选讯飞星火V3.5 Turbo;比如你们的AI Agent只需要做“业务指令理解”“业务流程规划”“业务结果生成”这些工作,就选百度文心一言4.0 Turbo。
- 低代码/无代码AI Agent平台(必须!):前期你们不需要使用开源的AI Agent框架(比如LangChain、AutoGPT、BabyAGI、MetaGPT)——因为这些框架需要写代码,门槛比较高,适合有丰富AI开发经验的人使用,不适合传统IT部门的人使用!你们只需要使用国内的、安全合规的、价格便宜的、低代码/无代码的、易上手的、与传统IT现有系统无缝对接的AI Agent平台就行了!比如:
- Dify(推荐指数:★★★★★):这是目前国内最火的、最好用的低代码/无代码AI Agent平台!它的优点是:
- 完全开源(社区版):你们可以免费下载社区版,部署在自己公司的本地服务器上——这一点非常重要!因为传统IT部门最担心的就是“数据泄露”,部署在本地服务器上,所有的数据都在自己公司的手里,绝对安全!
- 低代码/无代码:你们只需要用“拖拽式”的方式就能搭建一个AI Agent,或者用自然语言就能编写一个AI Agent的业务指令——门槛非常低,传统IT部门的运维人员、甚至业务部门的“懂IT的业务骨干”都能学会!
- 与传统IT现有系统无缝对接:Dify内置了很多“连接器”(Connectors)——比如SAP/Oracle连接器、MySQL连接器、PostgreSQL连接器、Oracle数据库连接器、OA连接器(钉钉、企业微信、飞书)、邮件连接器(SMTP、POP3)、Excel连接器、PDF连接器——你们只需要配置一下这些连接器的参数(比如SAP/Oracle的服务器地址、端口号、用户名、密码),就能让AI Agent直接调用这些系统的API,不需要写任何代码!如果Dify内置的连接器不够用,你们还可以自己“自定义连接器”——只需要写一点点简单的Python代码或者RESTful API配置就行了!
- 安全合规:Dify支持“权限配置”(比如只能让指定的用户访问指定的AI Agent,只能让指定的AI Agent访问指定的系统和数据)、“数据加密”(比如传输过程中的数据加密、存储过程中的数据加密)、“执行结果可追溯可审计”(比如AI Agent的每一次执行、每一次工具调用、每一次数据访问都会被记录下来,你们可以随时查看)——完全符合等保2.0、GDPR、ISO 27001的要求!
- 价格便宜:社区版是完全免费的!企业版的价格也非常便宜(按年付费,每年几万块钱到几十万块钱不等,根据你们公司的规模和需求而定)——相比几百万甚至几千万的GPU服务器、相比年薪百万的AI算法工程师,这个价格简直是“白菜价”!
- 社区活跃:Dify的GitHub社区有超过50k的Stars(星标),有超过10k的Forks(分叉),有非常多的开发者在使用Dify,有非常多的教程和文档——你们遇到问题的时候,可以随时在GitHub社区提问,或者在Dify的官方微信群/钉钉群提问,会有很多人帮你们解决!
- Coze(推荐指数:★★★★☆):这是字节跳动推出的低代码/无代码AI Agent平台!它的优点是:
- 与字节跳动的生态系统无缝对接:比如抖音、今日头条、西瓜视频、飞书——如果你们公司的业务和字节跳动的生态系统有关的话,Coze是最好的选择!
- 低代码/无代码:和Dify一样,你们只需要用“拖拽式”的方式就能搭建一个AI Agent,或者用自然语言就能编写一个AI Agent的业务指令——门槛非常低!
- 内置了很多“插件”(Plugins):比如天气插件、新闻插件、股票插件、地图插件——如果你们的AI Agent需要这些功能的话,直接使用就行了,不需要自己开发!
- 完全免费:目前Coze是完全免费的!不管是个人用户还是企业用户,都可以免费使用!
- 缺点:目前Coze还没有“本地部署”的功能——所有的数据都存储在字节跳动的服务器上,这对于传统IT部门来说可能是一个“安全隐患”!如果你们公司对数据安全要求非常高的话,建议还是使用Dify的社区版,部署在自己公司的本地服务器上!
- AgentBuilder(推荐指数:★★★☆☆):这是百度推出的低代码/无代码AI Agent平台!它的优点是:
- 与百度的生态系统无缝对接:比如文心一言、百度搜索、百度地图、百度网盘——如果你们公司的业务和百度的生态系统有关的话,AgentBuilder是最好的选择!
- 低代码/无代码:和Dify、Coze一样,你们只需要用“拖拽式”的方式就能搭建一个AI Agent,或者用自然语言就能编写一个AI Agent的业务指令——门槛非常低!
- 安全合规:因为是百度推出的,所以安全合规方面绝对没问题——完全符合等保2.0、GDPR、ISO 27001的要求!
- 缺点:目前AgentBuilder的“本地部署”功能还在测试中,而且价格也比较贵——相比Dify的社区版(完全免费),AgentBuilder的性价比不是很高!
- 注意:前期我强烈推荐你们使用Dify的社区版——因为它完全开源、完全免费、可以本地部署、安全合规、与传统IT现有系统无缝对接、低代码/无代码、易上手、社区活跃!你们只需要花1-2天的时间就能学会如何使用Dify的社区版搭建一个简单的AI Agent!
- Dify(推荐指数:★★★★★):这是目前国内最火的、最好用的低代码/无代码AI Agent平台!它的优点是:
- 本地服务器(推荐!但不是必须!):前期如果你们只是想“试手”,搭建几个简单的AI Agent,其实不需要购买新的本地服务器——你们可以用公司现有的闲置服务器就行了!比如公司现有的测试服务器、备份服务器——只要配置够(CPU:4核以上,内存:8G以上,硬盘:100G以上),就能部署Dify的社区版!如果你们公司没有闲置服务器,或者闲置服务器的配置不够,也可以购买一台新的本地服务器——价格也非常便宜(几万块钱就能买一台配置很高的本地服务器)!
- 版本控制系统(必须!):传统IT部门应该都有版本控制系统吧?比如Git、SVN——这个必须要有!因为你们需要用版本控制系统来管理AI Agent的业务指令、自定义连接器的代码、配置文件等等——就像你们之前用版本控制系统来管理传统IT系统的代码一样!
- 监控与告警系统(必须!):传统IT部门应该也都有监控与告警系统吧?比如Prometheus+Grafana、Zabbix——这个必须要有!因为你们需要用监控与告警系统来监控AI Agent的运行情况(比如是否在线、是否正常执行任务、工具调用是否成功、数据访问是否成功)、监控本地服务器的运行情况(比如CPU使用率、内存使用率、硬盘使用率、网络带宽使用率)——如果AI Agent或者本地服务器出现了问题,监控与告警系统会立即发送告警消息给IT运维主管或者AI Agent Harness工程师!
- 文档管理系统(推荐!但不是必须!):传统IT部门应该也都有文档管理系统吧?比如Confluence、SharePoint——这个推荐有!因为你们需要用文档管理系统来记录AI Agent的业务需求、业务指令、权限配置、连接器配置、监控与告警配置、常见问题与解决方案等等——方便后续的维护和培训!
2.2 基础知识:你们部门的人现在需要学什么?
很多传统IT部门的人一听到“AI转型”,就会想到“需要学习复杂的AI算法、深度学习、机器学习、Python编程”——这也是完全错误的!
对于传统IT部门的HAE转型来说,前期你们部门的人根本不需要学习复杂的AI算法、深度学习、机器学习——你们只需要学习以下几个“非常简单、非常基础、非常容易上手”的知识就行了!
这套基础知识分为以下几个部分:
- 大语言模型LLM的基本概念(必须!):你们只需要知道“LLM是什么”“LLM能做什么”“LLM不能做什么”“LLM的‘幻觉’是什么”“如何避免LLM的‘幻觉’”就行了——不需要知道LLM的底层原理(比如Transformer架构、注意力机制)!我推荐你们看一下百度文心一言的官方文档《文心一言使用指南》、讯飞星火的官方文档《星火认知大模型使用指南》、阿里通义千问的官方文档《通义千问使用指南》——这三个文档都非常简单、非常通俗易懂,你们只需要花1-2个小时就能看完!
- Prompt Engineering(提示词工程)的基本技巧(必须!):这个非常重要!因为AI Agent的“业务指令”其实就是一个“超级提示词”——Prompt Engineering的基本技巧决定了AI Agent能不能“正确理解业务目标”“正确规划执行步骤”“正确调用工具包”“正确完成业务任务”!你们只需要学习以下几个“最核心、最常用”的Prompt Engineering基本技巧就行了:
- 角色设定(Role Playing):给AI Agent设定一个明确的角色——比如“你是我们公司的‘供应商账期管理机器人’”“你是我们公司的‘生产排程执行率报表机器人’”。
- 目标设定(Goal Setting):给AI Agent设定一个明确的、可量化的业务目标——比如“确保供应商账期到期前及时提醒相关人员,到期后及时发起扣款申请,避免公司资金损失”“每天早上9点自动生成前一天的生产排程执行率报表,推送给生产总监,标红执行率<90%的生产线”。
- 工具包设定(Tool Setting):给AI Agent明确列出它能使用的所有工具,以及每个工具的功能、参数、使用限制——比如“你的工具包包括:1.
SAP数据查询工具:只能查询供应商管理模块(ZVEN)的供应商名称(NAME1)、供应商对接人邮箱(SMTP_ADDR)……只能查询欠款金额>0的供应商数据”。 - 业务流程规则设定(Workflow Rule Setting):给AI Agent明确列出它的执行步骤、执行顺序、执行条件、异常处理方式——比如“1. 每天早上8点自动执行任务;2. 先调用
SAP数据查询工具查询……;3. 对查询到的每个供应商:a. 如果账期在未来45天……;b. 如果账期在未来30天……;4. 执行过程中如果遇到异常情况:比如SAP连接失败,重试3次,每次间隔5分钟……”。 - 输出格式设定(Output Format Setting):给AI Agent明确列出它的输出格式——比如“执行结果反馈工具的输出格式必须是JSON格式,包含以下字段:
success_count(成功的数量)、failure_count(失败的数量)、failure_details(失败的原因列表,每个失败的原因包含供应商编号、失败步骤、失败原因)”。 - 思维链(Chain of Thought, CoT)提示:让AI Agent“先思考,再行动”——比如在业务指令的最后加上一句“请你先思考一下你需要做什么,然后再一步步执行,每执行一步都要记录下来你的思考过程和执行结果”。
- 我推荐你们看一下Dify的官方文档《Prompt Engineering最佳实践》、OpenAI的官方文档《GPT-4 Prompt Engineering Guide》——这两个文档都非常简单、非常通俗易懂,你们只需要花3-4个小时就能看完!
- 低代码/无代码AI Agent平台的使用方法(必须!):比如Dify的社区版的使用方法——你们只需要看一下Dify的官方文档《Dify快速入门指南》《Dify用户手册》,再跟着Dify的官方视频教程(B站、抖音、西瓜视频上都有)做几个简单的AI Agent(比如“天气查询机器人”“新闻查询机器人”“Excel数据处理机器人”)就行了——你们只需要花1-2天的时间就能学会!
- 传统IT现有系统的API使用方法(必须!):比如SAP/Oracle的API使用方法、MySQL/PostgreSQL/Oracle数据库的API使用方法、OA的API使用方法——这些知识其实传统IT部门的人早就掌握了!因为之前你们就是用这些API来做RPA机器人、来做传统IT系统的接口对接的!只是之前是封装给RPA机器人用的,现在是封装给AI Agent用的,封装的方式和接口都是一样的!
- 简单的Python编程(推荐!但不是必须!):如果Dify内置的连接器不够用,你们需要自己“自定义连接器”的话,就需要学习一点点简单的Python编程——其实也不需要学习太多,只需要学习“如何使用Python调用RESTful API”“如何使用Python处理JSON数据”“如何使用Python处理Excel数据”就行了——这些知识非常简单、非常基础,你们只需要花3-4天的时间就能学会!我推荐你们看一下《Python编程:从入门到实践》这本书的前10章——或者看一下B站上的“Python基础教程”(比如黑马程序员的Python基础教程,非常通俗易懂)!
2.3 人员准备:你们部门现在需要组建一个什么样的团队?
很多传统IT部门一听到“AI转型”,就会想到“需要招聘几个年薪百万的AI算法工程师、AI架构师”——这还是完全错误的!
对于传统IT部门的HAE转型来说,前期根本不需要招聘新的员工——你们只需要从现有员工中选拔几个“合适的人”,组建一个“跨部门的AI Agent协作小组”就行了!
这个“跨部门的AI Agent协作小组”包括以下几个角色:
- 组长(必须!):一般由IT部门的副总监或者资深架构师担任——他的职责是:
- 制定HAE转型的分阶段路线图。
- 协调IT部门内部各团队之间的关系(比如SAP运维团队、Oracle运维团队、开发团队、安全合规团队)。
- 协调IT部门和业务部门、安全合规部门之间的关系。
- 评估AI Agent的价值和ROI。
- 向CIO/CDO汇报HAE转型的进展情况。
- AI Agent架构师(必须!):一般由IT部门的资深开发工程师或者资深架构师担任——他的职责是:
- 设计AI Agent的架构(前期不需要设计集群架构,只需要设计单个AI Agent的架构就行了)。
- 封装跨系统的工具包(比如把SAP/Oracle的API封装成Dify的自定义连接器)。
- 制定AI Agent的安全合规标准(比如权限配置标准、数据加密标准、执行结果可追溯可审计标准)。
- 培训新的AI Agent Harness工程师。
- 解决AI Agent运行过程中的技术难题。
- AI Agent Harness工程师(必须!至少2-3个!):一般由IT部门的SAP/Oracle运维工程师、CRM运维工程师、OA运维工程师担任——他们的职责是:
- 和业务部门的“业务流程负责人”一起梳理业务流程,找出可以用AI Agent替代的机械重复劳动。
- 配置Dify的内置连接器(比如SAP/Oracle连接器、
