大模型应用-筑基期【02：大模型核心概念入门】
W1 · 知识点02：大模型核心概念入门
学习目标：理解Token、Temperature、Top-P等核心概念，以设备维修系统为场景建立大模型工作原理的认知。
一、大模型是怎么"说话"的
大模型本质是一个概率预测器。当你输入"空压机排气温度过高的常见原因"，模型一个字一个字地预测最可能的下一个词。
用户输入: "空压机排气温度过高的常见原因" 模型预测: "1" (0.30) → "空" (0.25) → "冷" (0.20) → ... 选择"1"后继续: "1." → "冷" → "却" → "器" → "堵" → "塞" → ... → 最终输出: "1. 冷却器堵塞..."二、Token：模型的"阅读单位"
大模型按Token处理文本，不是按字或词。
# 设备维修相关的Token示例"空压机"→ 大约2-3个Token（中文通常1-2个字=1个Token）"bearing replacement"→2个Token"设备维修养护系统V2.0"→ 大约8-10个Token# 一份维修工单大约有多少Token？"设备名称：3号空压机\n故障描述：运行时出现异常振动和噪音，排气温度偏高..."# 这样一份200字的工单大约 200-300 个Token为什么Token对设备维修系统很重要：
- 你的系统每次调用API分析一条工单，就要消耗Token
- 假设每天处理100条工单，每条工单输入300 Token + 输出200 Token
- GPT-4o-mini价格：输入$0.15/百万Token，输出$0.60/百万Token
- 每天成本 ≈ 100 × (300×0.15 + 200×0.60) / 1,000,000 ≈ $0.0165
- 一年约$6，成本可控。但如果模型更贵或数据量更大，就需要认真规划了
三、Temperature：控制输出的"创造力"
Temperature = 0（最保守） → 设备故障诊断场景适用：同样的故障描述，每次都给出同样的分析 → "空压机异响" → 永远先说"轴承磨损" Temperature = 0.7（适中） → 生成维修建议或客户回复时适用：有一定变化但不离谱 → 每次生成的维修报告措辞略有不同 Temperature = 1.5（最奔放） → 设备维修场景基本不用：你不希望AI在故障诊断时"天马行空"设备维修系统的参数建议：
| 功能模块 | 建议Temperature | 原因 |
|---|---|---|
| 故障诊断分析 | 0 - 0.2 | 需要稳定一致的判断 |
| 维修方案生成 | 0.3 - 0.5 | 核心步骤固定，细节可以灵活 |
| 客户沟通话术 | 0.7 - 0.9 | 需要自然多样的表达 |
| 维修报告生成 | 0.3 - 0.5 | 结构严谨，措辞专业 |
四、Top-P：另一种"创造力"控制
Top-P = 0.1 → 故障诊断场景：只从最可能的故障原因中选择，非常聚焦 Top-P = 0.9（推荐默认值） → 大部分设备维修场景适用 Top-P = 1.0 → 全部可能性都参与，适合头脑风暴（如设备改造方案讨论）实践建议：Temperature和Top-P通常只调一个。设备维修系统中，建议固定Top-P=1.0，根据功能模块调Temperature。
五、其他常见参数
# 设备维修系统的典型API调用参数params={"model":"gpt-4o-mini","temperature":0.3,# 故障诊断用低温度"max_tokens":1000,# 维修方案不需要太长"frequency_penalty":0,# 技术文档允许重复术语"presence_penalty":0,# 不限制话题范围"stop":["\n---"],# 用分隔符标记内容结束"seed":42,# 固定种子，故障诊断结果可复现}六、动手练习
练习1：Temperature对故障诊断的影响
用同一个设备故障描述，在不同Temperature下测试：
故障描述: "3号空压机运行2小时后排气温度从正常的85°C逐渐升高到105°C， 同时冷却水出口温度偏高，机器无明显异响。" Temperature 0: ___（测试3次，看是否一致） Temperature 0.5: ___ Temperature 1.0: ___ Temperature 1.5: ___练习2：Token计算（设备维修场景）
估算以下设备维修文本的Token数，再用Tokenizer验证：
1. "更换轴承" → 预估___个，实际___个 2. 一份500字的维修工单 → 预估___个，实际___个 3. 一份设备保养手册（约2000字） → 预估___个，实际___个练习3：为你的系统规划参数
| 系统功能 | Temperature | Top-P | max_tokens | 原因 | |---------|-------------|-------|------------|------| | 故障自动分类 | | | | | | 维修工单生成 | | | | | | 保养计划建议 | | | | | | 客户通知短信 | | | | |七、本知识点检验标准
- 能用自己的话解释Token，并能估算设备维修文本的Token量
- 能说出Temperature和Top-P的作用，知道设备维修系统各模块该用什么参数
- 能计算系统每日的API调用成本
八、延伸阅读
- OpenAI Tokenizer — 在线Token计数工具
- The Illustrated Transformer — 可视化讲解Transformer