大语言模型基础（LLM）大语言模型（Large Language Model，简称 LLM）是 AI Agent 的大脑，理解它是构建智能 Agent 的基础。-周红伟

大语言模型基础（LLM）

大语言模型（Large Language Model，简称 LLM）是 AI Agent 的大脑，理解它是构建智能 Agent 的基础。

大语言模型之所以能与你对话、写文章、编程，本质上是它在根据你给出的文本（提示），一个字一个字地猜出最合理的下文。

简单来说，大语言模型是一个经过海量文本数据训练的深度学习模型，它能够理解和生成人类语言。大语言模型通过分析互联网上的海量文本，学习语言的统计规律，当收到输入时，根据学到的规律生成最合理的续写。

我们可以把大语言模型想象成一个极其用功、记忆力超群的学生：

• 学习阶段（训练）：它阅读了互联网上几乎所有公开的文本——书籍、文章、网页、代码等（数据量可达万亿单词级别）。在这个过程中，它不是在背诵，而是在学习一套极其复杂的语言规律。
• 应用阶段（推理）：当你向它提问或给出指令时，它就会运用学到的规律，一个字接一个字地生成出最合乎逻辑和语境的回答。

它的"大"主要体现在两个方面：

• 参数规模大：模型内部有数百亿甚至上万亿个可调节的参数，记录了学到的语言知识。
• 训练数据大：用于训练的文本数据量巨大，涵盖互联网公开信息的精华。

下图展示了 LLM 逐词生成文本的过程——它每次只预测一个词，然后将这个新词纳入输入，继续预测下一个词，如此循环直到生成完整回答：

第一步今天天气LLM计算概率分布很输入文本预测词加入下步输入第二步今天天气很LLM计算概率分布好如此循环，逐词生成完整回答

尽管 LLM 很强大，但它也有明确的局限性：

重要提醒：LLM 不是全知全能的，它本质上是基于统计的模式匹配系统。理解它的局限性，才能更好地利用它的能力。

核心工作原理：Transformer 架构简析

LLM 的惊人能力，离不开其底层核心技术——Transformer 架构。不需要深究复杂的数学原理，但可以理解它的核心思想。

想象你要写一篇关于太阳系的文章：

• 通读资料：你会先看很多相关的书籍和网页。
• 抓住重点：你会注意到太阳、行星、轨道、引力这些词频繁出现且相互关联。
• 组织语言：根据你想表达的重点（比如介绍火星），你会选择性地运用之前看到的关于火星大小、颜色、位置等信息，并组织成通顺的句子。

Transformer 的工作方式与此类似，它的核心流程分为三个阶段：

1. 输入处理：你的话被拆分成词或字（Token），并转换成计算机能理解的数字（向量）。
2. 理解上下文（核心）：自注意力机制（Self-Attention）开始工作。它让模型在处理句子中每一个词时，都能权衡句子中所有其他词的重要性。这个过程是并行的，速度极快。
3. 生成与循环：模型基于对所有词的理解，计算出概率分布，预测下一个最可能出现的词。选中并输出这个词后，将其作为新的输入，重复整个过程，直到生成完整回答。

自注意力机制是 Transformer 最关键的创新。以句子"苹果的手机它的电池很大"为例，当模型处理它这个词时，自注意力机制会帮助模型判断它与苹果和手机高度相关。下图展示了这一过程中的注意力权重分布：

苹果手机它电池很大「它」（查询词，已高亮）对各词的注意力权重高权重中权重低权重弧线越粗、颜色越深，表示模型越关注该词

正是这种能并行处理并深度理解全局上下文的能力，使得基于 Transformer 的 LLM 在语言任务上远超以往技术（如 RNN）。

如何与 LLM 交互：Prompt 工程入门

Prompt（提示词）是你给 LLM 的输入，它告诉模型你想要什么，就像给助理下达指令——指令越清晰，结果越好。Prompt 的质量直接决定了回答的质量。

一个好的 Prompt 通常由以下四个部分组成：

上下文角色与背景+指令明确任务目标+示例（可选）范例与反例+格式要求输出格式与长度四个模块共同构成一条清晰、完整的提示词

基本原则

• 明确具体：避免模糊表达。不要说写点关于狗的东西，而应该说用生动活泼的语言，为 6-8 岁儿童写一段 100 字左右的关于金毛寻回犬性格特点的简短介绍。

• 提供上下文：告诉模型你的身份、背景和目标。例如：你是一位经验丰富的 Python 编程导师。请向一个刚学完基本语法的初学者解释什么是列表推导式，并提供一个简单的例子。

• 指定格式：如果需要特定格式的输出，请明确说明，例如：请将以下要点总结为三个 bullet points 或 请以 JSON 格式输出。

• 分步思考（Chain-of-Thought）：对于复杂问题，可以在 Prompt 中引导模型逐步推理，例如：请一步一步地分析这个问题，先列出已知条件，再推导中间步骤，最后给出结论。 这种方式能显著提升复杂推理任务的准确率。

LLM 的常见应用场景

API 调用与参数设置

要构建 AI Agent，你需要学会如何通过 API 调用 LLM。

本章节我们以 OpenAI API 为例，介绍基本的调用方法。

openai 是一个强大的 Python 库，用于与 OpenAI 的一系列模型和服务进行交互，详细内容参考：Python OpenAI。

开源地址：https://github.com/openai/openai-python

基础 API 调用

1. 安装必要的库

pip install openai

然后需要去 OpenAI 官网注册账号，并在 API 密钥页面生成一个 API Key。

实例

import os
from openai import OpenAI

client = OpenAI(
# This is the default and can be omitted
api_key="你申请的 API key",
)

response = client.responses.create(
model="gpt-4o",
instructions="You are a coding assistant that talks like a pirate.",
input="How do I check if a Python object is an instance of a class?",
)

print(response.output_text)

我们国内目前访问 openai 还是有点麻烦，国内很多也支持 openai，比如 DeepSeek、阿里的千问。

DeepSeek

DeepSeek API 完全兼容 OpenAI 的 API 格式，只需修改少量配置，即可直接使用 OpenAI SDK 或兼容工具访问 DeepSeek API。

核心配置参数:

实例

import os
from openai import OpenAI

# 初始化客户端（核心配置：替换为你的API Key）
client = OpenAI(
api_key=os.environ.get('DEEPSEEK_API_KEY'), # 推荐通过环境变量配置，也可直接写死（不推荐）
base_url="https://api.deepseek.com" # DeepSeek 固定域名
)

# 调用对话API
try:
response = client.chat.completions.create(
model="deepseek-chat", # 指定模型，可选 deepseek-chat / deepseek-reasoner
messages=[
{"role": "system", "content": "You are a helpful assistant"}, # 系统角色定义
{"role": "user", "content": "Hello"}, # 用户提问
],
stream=False # 非流式输出（一次性返回完整结果）
)
# 打印回复内容
print("回复结果：", response.choices[0].message.content)
except Exception as e:
print("调用失败：", str(e))

阿里百炼

阿里云百炼的通义千问模型支持 OpenAI 兼容接口，您只需调整 API Key、BASE_URL 和模型名称，即可将原有 OpenAI 代码迁移至阿里云百炼服务使用。

我们需要开通阿里云百炼模型服务并获得 API-KEY。

我们可以先使用阿里云主账号访问百炼模型服务平台：https://bailian.console.aliyun.com/，然后点击右上角登录，登录成功后点击右上角的齿轮⚙️图标，选择 API key，然后复制 API key，如果没有也可以创建 API key：

开通阿里云百炼不会产生费用，仅模型调用（超出免费额度后）、模型部署、模型调优会产生相应计费。

现在要使用 API，都需要按 token 来计费，还好都不贵，我们可以先购买个最便宜的包：阿里云百炼大模型服务平台。

也可以直接使用百炼与方舟的 Coding Plan 套餐：https://www.runoob.com/claude-code/coding-plan.html。

使用方式

接下来我们使用 OpenAI SDK 访问百炼服务上的通义千问模型。

非流式调用示例

实例

from openai import OpenAI
import os

def get_response():
client = OpenAI(
api_key="sk-xxx", # 请用阿里云百炼 API Key
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1", # 填写DashScope SDK的base_url
)
completion = client.chat.completions.create(
model="qwen-plus", # 此处以qwen-plus为例，可按需更换模型名称。模型列表：https://help.aliyun.com/zh/model-studio/getting-started/models
messages=[{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': '你是谁？'}]
)
# json 数据
#print(completion.model_dump_json())
print(completion.choices[0].message.content)

if __name__ == '__main__':
get_response()

运行代码可以获得以下结果：

我是通义千问，阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我可以帮助你回答问题、创作文字，比如写故事、写公文、写邮件、写剧本、逻辑推理、编程等等，还能表达观点，玩游戏等。如果你有任何问题或需要帮助，欢迎随时告诉我！

流式调用示例

实例

from openai import OpenAI

def get_response():
client = OpenAI(
api_key="sk-xxx",
base_url="https://dashscope.aliyuncs.com/compatible-mode/v1",
)

completion = client.chat.completions.create(
model="qwen-plus",
messages=[
{'role': 'system', 'content': 'You are a helpful assistant.'},
{'role': 'user', 'content': '你是谁？'}
],
stream=True,
stream_options={"include_usage": True}
)

for chunk in completion:
# chunk 里可能没有 choices 或 delta
if hasattr(chunk, "choices") and len(chunk.choices) > 0:
choice = chunk.choices[0]
if hasattr(choice, "delta") and hasattr(choice.delta, "content"):
print(choice.delta.content, end='', flush=True)

if __name__ == '__main__':
get_response()

运行代码可以获得以下结果：

我是通义千问，阿里巴巴集团旗下的通义实验室自主研发的超大规模语言模型。我可以帮助你回答问题、创作文字，比如写故事、写公文、写邮件、写剧本、逻辑推理、编程等等，还能表达观点，玩游戏等。如果你有任何问题或需要帮助，欢迎随时告诉我！

主流大语言模型

以下是主流大语言模型的官网与 API 文档地址整理：