掌握RAG，让程序员小白轻松驾驭大模型：收藏必备的实战指南

本文详细介绍了RAG（检索增强生成）技术的核心概念、实现方法及其在前端开发中的应用。文章首先分析了LLM（大型语言模型）的三大硬伤：知识截止、幻觉和上下文窗口有限，并提出了RAG作为解决方案。接着，详细阐述了RAG的完整流水线，包括索引阶段和检索+生成阶段，并提供了使用LangChain.js和Dify搭建RAG系统的实战案例。此外，还探讨了进阶RAG技术如Re-ranking、混合检索、查询改写和Self-RAG，以及RAG效果评估方法和常见避坑指南。通过本文，读者可以深入了解RAG技术，并掌握如何在前端项目中应用大模型，提升开发效率和用户体验。

我们从零搭了 Agent、给它加了工具和记忆、学了 Graph 架构、搞了多 Agent 协作——Agent 已经很能干了。

但有一个关键问题始终没解决：Agent 只知道训练数据里的东西。

用户问"我们公司的退货政策是什么？“——Agent 不知道。问"上周会议决定了什么？”——Agent 更不知道。它不是不聪明，是根本没看过这些资料。

怎么办？把公司所有文档塞进 Prompt？Token 炸了。微调模型？成本太高、更新太慢。

答案是 RAG（Retrieval-Augmented Generation，检索增强生成）——先从知识库里搜到相关内容，再喂给 LLM 生成回答。

为什么需要 RAG？

LLM 有三个硬伤，RAG 恰好能补：

硬伤一：知识截止。 GPT-4o 的训练数据截止到某个时间点，之后的事它不知道。你的公司文档、产品手册、内部 Wiki 更不用说——根本没在训练集里。

硬伤二：幻觉。 LLM 不知道的东西会"编"。问它一个不存在的 API，它能编得有模有样。在客服、医疗、法律等场景，幻觉是致命的。

硬伤三：上下文窗口有限。 就算你把所有文档塞进去，128k token 也装不下一个中型知识库。而且 token 越多，费用越高、注意力越分散。

RAG 的思路很直觉：不把所有知识都塞给 LLM，而是先搜到相关的几段，只把这几段当上下文传给 LLM。

用前端类比——RAG 就像搜索引擎 + AI 的组合：

• ▸用户提问 → 先在知识库里"搜一搜"（类似 Elasticsearch）
• ▸搜到最相关的 3~5 段内容
• ▸把这些内容连同用户问题一起发给 LLM
• ▸LLM 基于真实资料回答，不瞎编

RAG 的完整流水线

RAG 分两个阶段：索引阶段（离线） 和 检索+生成阶段（在线）。

▎索引阶段（Indexing）——把文档变成可搜索的向量

原始文档 → 加载 → 分块 → Embedding 向量化 → 存入向量数据库

1. 文档加载（Loading）：读取各种格式——PDF、Markdown、HTML、Notion 导出、数据库

2. 文档分块（Chunking）：把长文档切成小段（通常 200~1000 token 一段）

3. 向量化（Embedding）：用 Embedding 模型把每段文字转成一个数字向量（比如 1536 维）

4. 存储（Storage）：把向量存入向量数据库（Pinecone、Chroma、Milvus 等）

▎检索+生成阶段（Retrieval + Generation）——用户提问时实时执行

用户提问 → Embedding → 在向量库中检索相似文档 → 拼装 Prompt → LLM 生成回答

1. 查询向量化：把用户的问题也转成向量

2. 相似度检索：在向量库中找到最相近的 top-K 段

3. 上下文拼装：把检索到的内容塞进 Prompt

4. LLM 生成：基于真实资料生成回答

动手：用 LangChain.js 搭一个 RAG 系统

用 LangChain.js 从零搭一个完整的 RAG 流水线。场景：给前端团队做一个内部文档问答助手，让同事可以问"我们的组件库怎么用"、"部署流程是什么"之类的问题。

▎安装依赖

npminstalllangchain @langchain/openai @langchain/community cheerio

▎Step 1：文档加载与分块

import{RecursiveCharacterTextSplitter}from"langchain/text_splitter";import{Document}from"@langchain/core/documents";// 模拟加载内部文档 const docs=[new Document({pageContent:`# 组件库使用指南## 安装/`/`/`bashnpminstall@our-company/ui-kit /`/`/`## Button 组件Button 组件支持 primary、secondary、danger 三种类型。 使用方式：<Buttontype="primary">提交</Button>Props 包括：type、size、disabled、loading、onClick。 size 支持 small、medium、large 三个值。## Modal 组件Modal 用于弹窗确认。必须传入 visible 和 onClose。 使用方式：<Modalvisible={show}onClose={()=>setShow(false)}>内容</Modal>支持 title、footer、width、maskClosable 等 Props。`, metadata:{source:"component-guide.md", category:"组件库"},}), new Document({pageContent:`# 部署流程## 测试环境1. **提交代码到 feature 分支**2. **在 GitLab 上创建 MR**3. **MR 合并后自动触发 CI/CD 部署到测试环境**4. **测试环境地址：https://test.our-app.com**## 生产环境1. **测试通过后，从 develop 合并到 master**2. **在 Jenkins 上点击「构建生产」**3. **构建产物自动上传到 CDN**4. **需要运维确认后才会正式切流**5. **回滚方式：在 Jenkins 选择上一个成功的构建版本重新部署**## 注意事项- 生产部署时间窗口：工作日10:00-18:00 - 部署前需在群里通知 @all - 大版本上线需提前一天在 TAPD 提上线申请单`, metadata:{source:"deploy-guide.md", category:"部署"},}),];// 分块：每段500字符，重叠50字符 const splitter=new RecursiveCharacterTextSplitter({chunkSize:500, chunkOverlap:50,});const splitDocs=await splitter.splitDocuments(docs);console.log(E6DB74">`原始文档 ${docs.length}篇 → 分块后 ${splitDocs.length}段`);

分块策略是 RAG 效果的关键。几个核心参数：

为什么要重叠？ 假设一段话被切成两半，前半段讲"Button 的 Props"，后半段讲"Props 包括 type、size、disabled"——不重叠的话，搜到前半段就拿不到具体 Props 了。重叠保证上下文不断裂。

▎Step 2：Embedding + 向量存储

import{OpenAIEmbeddings}from"@langchain/openai";import{MemoryVectorStore}from"langchain/vectorstores/memory";//1. 创建 Embedding 模型 const embeddings=new OpenAIEmbeddings({modelName:"text-embedding-3-small",});//2. 向量化 + 存入内存向量库 const vectorStore=await MemoryVectorStore.fromDocuments(splitDocs, embeddings);//3. 测试检索 const results=await vectorStore.similaritySearch("Button 组件怎么用",3);console.log("检索到的相关文档：");results.forEach((doc, i)=>{console.log(`/n--- 第 ${i +1}段(来源: ${doc.metadata.source})---`);console.log(doc.pageContent.slice(0,100)+"...");});

similaritySearch背后做了什么？

1. 把"Button 组件怎么用"转成 1536 维向量

2. 跟向量库里所有文档段落计算余弦相似度

3. 返回最相似的 top-3 段

生产环境该用什么向量数据库？

▎Step 3：检索 + LLM 生成

import{ChatOpenAI}from"@langchain/openai";import{ChatPromptTemplate}from"@langchain/core/prompts";import{createStuffDocumentsChain}from"langchain/chains/combine_documents";import{createRetrievalChain}from"langchain/chains/retrieval";const llm=new ChatOpenAI({modelName:"gpt-4o", temperature:0});//1. 构建 RAG Prompt const prompt=ChatPromptTemplate.fromTemplate(`你是公司内部文档助手。根据以下参考资料回答用户问题。 如果资料中没有相关信息，请诚实说"我在文档中没有找到相关信息"。不要编造不存在的内容。 参考资料：{context}用户问题：{input}`);//2. 创建 RAG Chain const documentChain=await createStuffDocumentsChain({llm, prompt});const retriever=vectorStore.asRetriever({k:3});const ragChain=await createRetrievalChain({combineDocsChain: documentChain, retriever,});//3. 提问 const response=await ragChain.invoke({input:"Button 组件支持哪些 Props？",});console.log("回答：", response.answer);console.log("引用来源：", response.context.map(d=>d.metadata.source));

输出：

回答：Button 组件支持以下 Props： - type：按钮类型，可选 primary、secondary、danger - size：按钮尺寸，可选 small、medium、large - disabled：是否禁用 - loading：是否显示加载状态 - onClick：点击回调函数 使用方式：<Buttontype="primary">提交</Button>引用来源：["component-guide.md"]

LLM 的回答完全基于检索到的文档，不会瞎编。而且还返回了引用来源，用户可以追溯。

在 Dify 中搭建 RAG：零代码方案

如果你不想写代码搭 RAG 管线，Dify 是目前最好的开源替代——它提供了完整的知识库管理 + RAG 编排 + API 发布，前端直接调接口就行。

▎Dify 的 RAG 流程

上传文档 → 自动分块 → 自动 Embedding → 创建应用 → 关联知识库 → 发布 API

▎Step 1：创建知识库

在 Dify 控制台：

1. 点「知识库」→「创建知识库」

2. 上传文档（支持 PDF、Markdown、TXT、Notion 同步、网页抓取）

3. 配置分块策略——自动 or 自定义

4. 选择 Embedding 模型——推荐text-embedding-3-small

5. 点「保存并处理」，等待索引完成

▎Step 2：创建应用并关联知识库

1. 创建一个「聊天助手」应用

2. 在「上下文」中关联刚创建的知识库

3. 配置检索策略——向量检索 / 全文检索 / 混合检索

4. 设置 System Prompt，让 LLM 基于检索结果回答

▎Step 3：前端调用 Dify API

asyncfunctionaskDify(question: string, conversationId?: string){const response=await fetch("https://api.dify.ai/v1/chat-messages",{method:"POST", headers:{"Authorization":`Bearer ${DIFY_API_KEY}`,"Content-Type":"application/json",}, body: JSON.stringify({inputs:{}, query: question, response_mode:"streaming", conversation_id: conversationId||"", user:"frontend-user-001",}),});const reader=response.body!.getReader();const decoder=new TextDecoder();while(true){const{done, value}=await reader.read();if(done)break;const chunk=decoder.decode(value);const lines=chunk.split("/n").filter(line=>line.startsWith("data: "));for(const line of lines){const data=JSON.parse(line.slice(6));if(data.event==="message"){process.stdout.write(data.answer);}}}}await askDify("部署到生产环境的流程是什么？");

Dify 的优势：

• ▸零代码搭 RAG——上传文档就能用
• ▸可视化编排——拖拽式搭建 RAG 工作流
• ▸开箱即用的 API——前端直接调，支持流式
• ▸自带评估工具——可以测试 RAG 效果、调优参数

前端集成：用 AI SDK 做流式 RAG

在实际前端项目中，推荐用 Vercel AI SDK 做流式集成——用户体验最好。

▎Next.js API Route + RAG

// app/api/rag/route.tsimport{NextRequest}from"next/server";import{streamText}from"ai";import{openai}from"@ai-sdk/openai";import{getVectorStore}from"@/lib/vector-store";exportasyncfunctionPOST(req: NextRequest){const{messages}=await req.json();const lastMessage=messages[messages.length -1].content;//1. 检索相关文档 const vectorStore=await getVectorStore();const relevantDocs=await vectorStore.similaritySearch(lastMessage,3);const context=relevantDocs.map(doc=>doc.pageContent).join("/n/n---/n/n");//2. 流式生成 const result=streamText({model: openai("gpt-4o"), system:`你是公司内部文档助手。根据以下参考资料回答问题。 如果资料中没有相关信息，诚实说不知道。 参考资料： ${context}`, messages,});returnresult.toDataStreamResponse();}

▎前端聊天组件

// app/page.tsx"use client";import{useChat}from"ai/react";exportdefaultfunctionRAGChat(){const{messages, input, handleInputChange, handleSubmit, isLoading}=useChat({api:"/api/rag",});return(<divclassName="max-w-2xl mx-auto p-4"><h1className="text-2xl font-bold mb-4">📚 内部文档助手</h1><divclassName="space-y-4 mb-4">{messages.map((msg)=>(<div key={msg.id} className={`p-3rounded-lg ${ msg.role==="user"?"bg-blue-100ml-auto max-w-xs":"bg-gray-100" }`}>{msg.content}</div>))}{isLoading&&<divclassName="text-gray-400">思考中...</div>}</div><formonSubmit={handleSubmit}className="flex gap-2"><inputvalue={input}onChange={handleInputChange}placeholder="问点什么..."className="flex-1 border rounded-lg px-4 py-2"/><buttontype="submit"disabled={isLoading}className="bg-blue-500 text-white px-4 py-2 rounded-lg disabled:opacity-50">发送</button></form></div>);}

几行代码就做了一个带 RAG 的聊天界面——用户输入问题，后端检索知识库、流式返回，前端实时渲染。

进阶 RAG 技术

基础 RAG 管用，但效果还能更好。以下是几个生产中常用的优化手段。

▎1. Re-ranking：二次排序

基础检索用向量相似度排序，但向量匹配不等于语义最相关。Re-ranking 在检索结果上再做一轮精排，效果显著提升。

import{CohereRerank}from"@langchain/cohere";const reranker=new CohereRerank({model:"rerank-v3.5", topN:3,});// 先检索 top-10，再用 Reranker 精排到 top-3 const initialResults=await vectorStore.similaritySearch(query,10);const rerankedResults=await reranker.compressDocuments(initialResults, query);

▎2. 混合检索（Hybrid Search）

单纯向量检索有时候搜不到精确匹配——比如搜"ERR_CONNECTION_REFUSED"这种错误码，关键词匹配比语义匹配更准。

混合检索 = 向量检索 + 关键词检索，两路结果合并排序。

// Dify 中直接选「混合检索」模式即可 // 代码层面示例： const vectorResults=await vectorStore.similaritySearch(query,5);const keywordResults=await bm25Search(query, documents,5);// 用 Reciprocal Rank Fusion 合并排序 const merged=reciprocalRankFusion([vectorResults, keywordResults]);

▎3. 查询改写（Query Rewriting）

用户的问题往往不够精确。先让 LLM 改写查询，再去检索，命中率更高。

const rewritePrompt=ChatPromptTemplate.fromTemplate(`请将用户问题改写为更适合知识库检索的查询。 - 去掉口语化表达 - 提取关键术语 - 如果问题模糊，拆成2-3 个子查询 用户问题：{question}改写后的查询（每行一个）：`);//"这个 Button 的 loading 咋用"→"Button 组件 loading 属性 用法"

▎4. Self-RAG：让 LLM 自己判断要不要检索

不是每个问题都需要检索。"你好"不需要查知识库，"部署流程是什么"才需要。

const needRetrieval=await llm.invoke([{role:"system", content:"判断以下问题是否需要查询知识库。回答 YES 或 NO。",},{role:"user", content: userQuestion},]);if(needRetrieval.content==="YES"){const docs=await retriever.invoke(userQuestion);// 走 RAG 流程...}else{const answer=await llm.invoke([...messages]);}

RAG 效果评估

RAG 搭完不是完事了——怎么知道效果好不好？ 需要量化评估。

▎核心指标

▎用 LLM-as-Judge 自动评估

const evalPrompt=ChatPromptTemplate.fromTemplate(`你是 RAG 系统质量评估员。根据以下信息打分（1-5 分）： 用户问题：{question}参考资料：{context}系统回答：{answer}标准答案：{groundTruth}评分维度：1. **回答准确性（是否正确回答了问题）**2. **忠实度（是否基于参考资料，没有编造）**3. **完整性（是否覆盖了关键信息）** 输出 JSON：{{"accuracy":1-5,"faithfulness":1-5,"completeness":1-5,"explanation":"..."}}`);

避坑指南

▎坑 1：分块太大或太小

❌ chunkSize:2000→ 检索到一大段，很多内容不相关，浪费 token ❌ chunkSize:100→ 上下文太碎，LLM 拼不出完整答案 ✅ chunkSize:500→ 刚好一个完整的段落或知识点

经验法则：chunk 大小让一段包含一个完整的知识点。中文文档建议 300~500 字符，英文 500~1000。

▎坑 2：没有 metadata 导致无法追溯

检索到了答案，但用户问"这是哪个文档说的？"——你答不上来。

// ❌ 没有 metadata new Document({pageContent:"Button 支持 primary 和 secondary 类型"});// ✅ 带上 metadata new Document({pageContent:"Button 支持 primary 和 secondary 类型", metadata:{source:"component-guide.md", section:"Button 组件", lastUpdated:"2025-03-01", category:"组件库",},});

metadata 不仅用于追溯，还能做过滤检索——比如"只搜部署相关的文档"。

▎坑 3：Embedding 模型和内容语言不匹配

用中文文档，Embedding 却用了纯英文模型——检索效果打折。

▎坑 4：只用向量检索，忽略关键词

用户搜"ERR_MODULE_NOT_FOUND 错误"，向量检索可能返回"模块加载机制"的文档——语义相关但不是用户要的。

解法：用混合检索。向量找语义相关的，关键词找精确匹配的，两路合并效果最好。

▎坑 5：文档更新了但向量库没更新

知识库是"活的"——文档会修改、新增、删除。但向量库是"拍快照"的——索引建好后不会自动更新。

解法：

• ▸增量索引：文档更新时，只重新索引变化的部分
• ▸定时全量重建：每天凌晨跑一次全量索引
• ▸用 Dify 的文档管理：内置了文档版本管理和自动重索引

总结

RAG 的核心思想：不让 LLM 凭记忆回答，而是先查资料再回答——就像开卷考试比闭卷考试更靠谱。

搭一套 RAG 系统的关键步骤：

1. 文档加载 + 分块——用RecursiveCharacterTextSplitter，chunk 大小 300~500

2. Embedding + 向量存储——text-embedding-3-small性价比最高，生产用 Chroma / Pinecone / pgvector

3. 检索 + 生成——createRetrievalChain自动串联检索和 LLM

4. 前端集成——AI SDKuseChat+ streaming，体验最好

5. 进阶优化——Re-ranking、混合检索、查询改写，效果提升显著

两条路线选其一：

• ▸快速落地：用 Dify 零代码搭 RAG，前端调 API

• ▸深度定制：用 LangChain.js 全链路自建，灵活度最高

  最后

如果说程序员已经是高薪职业，那么干AI的程序员，就是高薪中的高薪。

现在的市场，已经用数据给程序员指明了方向：学AI大模型，就是冲刺高薪的最优解！

看着身边越来越多的同行转型大模型、拿到高薪offer，很多人心里都动了心，但真正的难题来了：零基础小白不知道从哪入门？有基础的程序员找不到系统学习路径？实战项目练手无门？面试不知道考什么？

别慌！今天就给大家整理了一份【2026年最新版】AI大模型免费学习资源包，覆盖从入门到实战、从理论到面试、从基础到进阶的全流程，所有资料均已整理归档，无冗余、无套路，免费分享给每一位想抓住AI风口的程序员和小白！

👇👇扫码免费领取全部内容👇👇

1、大模型系统化学习路线

2、大模型学习书籍&文档

3、AI大模型最新行业报告

4、大模型项目实战&配套源码

5、大模型大厂面试真题

四阶段精细化学习规划（附时间节点，可直接照做）

结合上述资源，给大家整理了一份可直接落地的四阶段学习规划，总时长约2个月，小白可循序渐进，程序员可根据自身基础调整节奏，高效掌握大模型核心能力，快速实现从“入门”到“能落地、能面试”的跨越。

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

👇👇扫码免费领取全部内容👇👇

6、这些资料真的有用吗？

这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。

资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】