大模型微调是什么?我们公司需要吗?——花大钱‘训‘AI之前,先分清这三样东西
先把答案放桌上:微调改的是AI的"行为习惯",装不进多少公司知识;而中小企业想要的"让AI懂我们",九成是知识问题,不是习惯问题。让AI懂你公司,一共三层做法,从便宜到贵:写好提示词——给AI下清楚的指令,成本近零;建知识库——给AI配一柜子随查随新的公司资料,万元级起步;微调——拿成百上千条例子给AI改习惯,前两层压不住再考虑。顺序只能这么走,不是我说的,微软研究团队拿对照实验验过:给大模型注入知识,知识库这条路稳定胜过微调。至于"从头训练一个自己的大模型"——DeepSeek官方技术报告里,正式训练一次的账单是557.6万美元。这一篇把三层掰开:看完之后,供应商再说"给你们训个专属模型",你当场就能听出他卖的是哪一层、该不该按那一层付钱。
上一篇把"要不要招AI工程师"的账算完,结尾预告了这个题,今天兑现。这个词最近确实热,AI工程师樊军刚被问到的版本通常长这样:
“有服务商建议我们’训练一个行业专属大模型’,听着挺高级——这个’训’到底是训什么?我们这种规模的公司,需要吗?”
这句话最要命的地方,是一个"训"字里混着几样完全不同的东西,价格差着几个数量级。混着谈,钱就一定花错。先把最贵的那个梦叫醒,再把剩下三样摆上桌。
先叫醒最贵的梦:从头训练大模型,不是你的选项
先说清楚"从头训练"是什么:让一个空白模型读十几万亿字的资料,从零把通用能力练出来——DeepSeek、豆包、通义这些名字,都是这么练出来的。
这件事的价格,DeepSeek在自家的V3技术报告里公开算过账:2048块H800显卡、278.8万GPU小时,按每GPU小时2美元的租赁价折算,正式训练一次557.6万美元,约4000万人民币。两个背景帮你把这个数看准:第一,它只算"最后成功的那一次",前面铺路的研究、试错、废掉的实验都不在里面;第二,这个成本公布时被全球同行公认"便宜到不可思议"——也就是说,4000万人民币已经是行业省钱天花板,不是行情价。
所以结论很干脆:从头预训练是模型厂商的游戏,跟用AI的企业没有关系。你听到的所有"给你训专属模型",真实动作一定是下面三层里的某一层。三层都正经、都有用——但一层比一层贵,顺序错了钱就白花。
三样东西摆上桌:交办单、资料柜、封闭集训
把大模型想成一个刚入职的天才员工:名校毕业、通识渊博,但对你公司一无所知——不知道价格底线、叫不出产品型号、没见过你的单据格式。让他进入状态,办法跟带新人一模一样,三种:
第一层:提示词——给他一张写清楚的交办单。"你是我们的报价助理,规矩一二三,格式照这个模板,拿不准的转人工。“这就是提示词:把要求一次性写清楚,AI当下就照办。成本近零,改一句话立刻生效。别小看这一层——市面上相当一部分"AI定制”,核心就是把这张交办单写到位。
第二层:知识库——在他手边放一柜子公司资料。产品手册、历史报价单、工艺文件、常见问答都放进去,AI答题前先翻柜子、再作答,答案还能标注"出自哪份文件"。数据那篇说过的"开卷考试"就是它,行话叫RAG(检索增强生成)。最大的好处是知识常换常新:价格表变了,换掉柜子里那份文件就行,立刻生效。万元级起步,通常直接包含在单点场景3万起、2-4周上线的方案里;多场景组合与长期合作另有分期方案。
第三层:微调——送他去封闭集训。拿成百上千条你们的真实例子(问题+标准答案)反复操练,把说话口吻、输出格式、行业黑话练进他的肌肉记忆。两个特点先记住:贵的不是算力,是那批例子——每条都要人工整理校对,这是成本大头;练进去的东西改不掉——规矩一变,不能换份文件了事,只能重新集训一轮。
一张表收拢:
| 提示词 | 知识库(RAG) | 微调 | |
|---|---|---|---|
| 相当于 | 工作交办单 | 手边的资料柜(开卷考试) | 封闭集训改习惯 |
| 管什么 | 这单活怎么干 | 公司知识随查随新、答案有出处 | 口吻、格式、行话的肌肉记忆 |
| 成本 | 近零 | 万元级起步(常含在整体方案里) | 几万级起,大头在数据整理 |
| 要改的时候 | 改一句话,立刻生效 | 换一份文件,立刻生效 | 重新集训一轮 |
| 什么时候用 | 永远是第一步 | 一旦涉及公司知识 | 前两层压不住时 |
表不用背,记住一句话就行:提示词管"怎么干",知识库管"知道什么",微调管"习惯什么"。
想让AI"懂公司"?那是知识问题,微调恰恰不管知识
老板嘴里的"让AI懂我们公司",拆开看基本全是知识:我们的产品参数、价格逻辑、交期规矩、大客户的特殊要求。知识问题拿微调解决,恰恰是下策。三个理由:
第一,学不牢。微软研究团队2024年发表在EMNLP(自然语言处理领域的顶级会议)上的对照研究,专门比过这两条路:给大模型注入知识,知识库稳定胜过微调——不管是模型见过的旧知识,还是全新的知识;而且大模型光靠微调学新事实,学得非常吃力。这不是哪家供应商的话术,是一批模型、一批任务跑出来的实验结论。
第二,改不掉。你的价格每季度调,产品每年上新,客户规矩说变就变——知识库是换份文件的事,微调是整轮重练的事。把易变的知识练进模型,等于把电话号码纹在身上。
第三,说不清。知识库答题标出处,错了能追溯到哪份文件——幻觉那篇立的护栏里就有这条:“开卷考试,每句答案标注出处”;微调后的模型张口就来,对了不知道为什么对,错了不知道从哪错。对企业系统来说,"说不清出处"本身就是风险。
所以顺序是铁的:提示词 → 知识库 → 微调。九成的企业场景,走到第二层就该停——不是技术上做不了第三层,是账上轮不到它。
什么时候真需要微调?三种情况,对号入座
情况一:格式口吻要焊死,量还极大。输出格式分毫不能差、一天几千上万次调用——把要求练进一个小模型,比每次都给大模型发一长串指令便宜得多。这是省钱型微调,练的还是习惯,不是知识。
情况二:行业语言深到通用模型真听不懂。医疗病历、法律文书这类深水区的行话,提示词和知识库都认真试过、还是压不住——该上能力型微调。注意前提是"试过前两层":一上来就说"必须微调"的方案,多半在把你当冤大头。
情况三:私有化部署后,小模型带不动。数据敏感到不能出门,只能在自己机器上跑小一号的模型,用微调把它在你这个场景里的表现拉上来——小马拉大车之前,先给马开小灶。
三种情况的共同点:微调从来不是第一步,是前面的路走完、账算下来确实划算的那一步。而且真到那天,微调要用的训练数据——成百上千条"问题+标准答案"——恰恰就是知识库和日常使用里自然攒出来的。前面的路,一步都不白走。
顺带交个底:强化学习与人类对齐(RLHF/DPO)——就是"训模型、调模型"这一套——正是AI工程师樊军刚科班深耕的方向。干微调出身的人劝你"先别急着微调",这话可以放心听:不是做不了,是多数场景真轮不到;真轮到了,它会出现在方案里,而不是出现在话术里。
谈方案时,三问验货
第一问:“你说的’训练专属模型’,具体是提示词、知识库还是微调?各占报价多少?”
当场拆不开三层的,多半自己也没做过——"专属大模型"五个字在他嘴里是溢价话术,不是技术方案。
第二问:“先不微调,用提示词加知识库做个对照版,效果差多少?”
正经做落地的不会拒绝,因为前两层本来就是任何方案的地基,对照版几乎是顺手的事;一口咬定"不微调不行"又拿不出对照的,你付的每一分"微调钱"都在裸奔。
第三问:“微调的数据谁来整理?以后知识更新一次,怎么收费?”
这问的是长期账:微调的大头在数据整理和一轮轮重训。这笔账摊开之后,不少"专属模型"方案自己就站不住了。
三问过完,对面卖的是方案还是概念,当场见分晓。
常见问题
Q:供应商说"不微调,AI就不懂你们行业",对吗?
多数场景不对。大模型的通识里,你所在行业的公开资料,它读过的比你任何一个员工都多;它缺的是你公司的私有信息——价格、工艺、客户规矩,而这些恰恰该走知识库:效果更稳、随时更新、答案有出处。真正"通识都覆盖不了"的深水区行话确实存在,但那要用对照版证明,不能用一句话断言。
Q:微调一次到底要花多少钱?
这个问题问总价没有意义——同样喊"微调",含不含数据整理、练几轮、怎么验收,报价能差好几倍。正确的问法是拆构成:数据整理谁做、做多少条(成本大头);算力和训练轮数(现在反而不贵);验收标准是什么(拿真实案例测,达标才算完)。构成拆清楚了,价格自然就谈得明白。
Q:我们已经付钱做过"专属模型"了,怎么判断没被坑?
三个动作:让供应商说清当时做的是三层里的哪一层;拿同样一批问题,用"通用模型+你们的资料"跑个知识库版对照,看差距有多大;翻合同看知识更新一次怎么收费。对照下来效果差不多的,以后更新就走知识库,省的是长期的钱。已经做过的也不算白花——那批整理出来的训练数据是你的资产,记得要回来。
Q:模型更新这么快,现在微调会不会很快白做?
会贬值,这正是"微调放最后"的另一个理由。基座模型一换代,旧模型上的微调不能平移,要重做;而提示词和知识库几乎无损迁移——选模型那篇讲的"可插拔",前两层天然可插拔,微调是最重的那一块。所以原则就一句:能用轻的不用重的;重的要用,就用在换了模型也值得重做一遍的场景上。
一句话总结
“给你训个专属大模型"是句要拆开听的话:从头训练是模型厂商的游戏——DeepSeek官方账单557.6万美元,还是全球公认的省钱极限;让AI懂你公司,按序走三层——提示词管"怎么干”、知识库管"知道什么"、微调管"习惯什么"。九成的场景走到知识库就该停,你的预算也该停在那里——省下的钱,留给真正需要第三层的那一成。
关于樊军刚AI
樊军刚,AI工程师,专注企业AI落地方案。CS科班出身,2021年起深耕AI,强化学习(RLHF/DPO)方向,累计AI实战投入超$30,000(Cursor+Claude深度使用1年+),自研AI军团Harness协作体系,AI安全研究获MITRE国际CVE认证。已为制造业企业交付AI智能系统,深耕非标报价、采购比价、来料质检等场景,方法论可迁移到贸易、批发、供应链等有同类痛点的行业。
我的服务方式:先诊断、先算账,省不了钱不接。按帮你省下来的价值收费,你永远是赚的那个。
拿不准自家的活该停在哪一层?把你想让AI干的事发给AI工程师樊军刚(想解决什么问题、涉及哪些公司资料、一天大概多少量),帮你判断提示词、知识库、微调各要不要上、停在哪层最省钱,这件事免费。
微信:FJG18220104899
关注「樊军刚AI」,获取更多企业AI落地干货。
下一篇预告:“数据不能出公司的AI怎么上?私有化部署要花多少钱,大模型一体机到底值不值”
