当前位置：首页 > news >正文

Llama-3.2-3B与LangChain集成：构建知识问答系统

news 2026/8/7 22:24:21

Llama-3.2-3B与LangChain集成：构建知识问答系统

1. 企业知识管理的挑战与解决方案

每个企业都面临着知识管理的难题。新员工需要快速熟悉公司流程，技术支持团队要迅速找到产品文档，销售人员要随时查阅最新的产品信息。传统的解决方案往往是让员工在成百上千个文档里大海捞针，或者不停地打扰同事询问同样的问题。

现在有了更聪明的办法。通过Llama-3.2-3B这个轻量级但能力强大的语言模型，加上LangChain这个专门为AI应用设计的框架，我们可以搭建一个智能的知识问答系统。这个系统能理解你的问题，在企业的知识库中快速找到相关信息，然后给出准确、有用的回答。

最好的部分是，整个系统可以在普通的服务器上运行，不需要昂贵的硬件，也不需要把敏感的企业数据发送到外部服务。数据安全性和响应速度都得到了保证。

2. 核心组件介绍

2.1 Llama-3.2-3B：轻量但强大的语言模型

Llama-3.2-3B虽然只有30亿参数，但在理解能力和响应质量上表现相当出色。它特别适合处理多语言内容，支持英语、中文、德语、法语等8种语言，这对于跨国企业尤其有用。

这个模型的优势在于它的平衡性：既有足够强的理解能力，又不会对硬件要求过高。你不需要购买顶级GPU，在普通的服务器甚至高性能的个人电脑上都能运行。这对于想要尝试AI技术但又担心成本的中小企业来说，是个很好的起点。

2.2 LangChain：AI应用的构建框架

LangChain就像是为AI应用准备的乐高积木套装。它提供了各种标准化组件，让开发者能够快速搭建复杂的AI应用，而不需要从零开始编写所有代码。

对于知识问答系统，LangChain最重要的功能包括：

文档加载和预处理：能够读取各种格式的文档（PDF、Word、TXT等）
文本分割和向量化：把长文档切成小块，转换成计算机能理解的形式
智能检索：根据问题快速找到最相关的文档片段
对话管理：保持对话的连贯性，理解上下文

3. 搭建知识问答系统的步骤

3.1 环境准备和依赖安装

首先需要准备好运行环境。建议使用Python 3.8或更高版本，然后安装必要的库：

pip install langchain langchain-community llama-cpp-python chromadb sentence-transformers

如果你打算使用Ollama来运行Llama模型，还需要安装Ollama：

curl -fsSL https://ollama.ai/install.sh | sh ollama pull llama3.2:3b

3.2 文档加载和预处理

企业的知识库通常包含各种格式的文档。LangChain提供了统一的接口来加载这些文档：

from langchain.document_loaders import DirectoryLoader, PyPDFLoader, Docx2txtLoader # 加载指定目录下的所有文档 def load_documents(directory_path): loaders = { '.pdf': PyPDFLoader, '.docx': Docx2txtLoader, '.txt': None # 文本文件可以直接读取 } documents = [] for file_path in os.listdir(directory_path): ext = os.path.splitext(file_path)[1].lower() if ext in loaders: if loaders[ext]: loader = loaders[ext](os.path.join(directory_path, file_path)) documents.extend(loader.load()) else: # 直接读取文本文件 with open(os.path.join(directory_path, file_path), 'r', encoding='utf-8') as f: text = f.read() documents.append(Document(page_content=text)) return documents

3.3 文本分割和向量化

长文档需要被分割成小块，这样模型才能更好地理解和检索：

from langchain.text_splitter import RecursiveCharacterTextSplitter from langchain.embeddings import HuggingFaceEmbeddings from langchain.vectorstores import Chroma def process_documents(documents): # 分割文本 text_splitter = RecursiveCharacterTextSplitter( chunk_size=1000, chunk_overlap=200 ) chunks = text_splitter.split_documents(documents) # 创建向量数据库 embeddings = HuggingFaceEmbeddings( model_name="sentence-transformers/all-MiniLM-L6-v2" ) vectorstore = Chroma.from_documents( documents=chunks, embedding=embeddings, persist_directory="./chroma_db" ) return vectorstore

3.4 构建问答链

现在把所有的组件组合起来，创建完整的问答系统：

from langchain.chains import RetrievalQA from langchain.llms import Ollama def create_qa_chain(vectorstore): # 初始化Llama模型 llm = Ollama(model="llama3.2:3b") # 创建检索式问答链 qa_chain = RetrievalQA.from_chain_type( llm=llm, chain_type="stuff", retriever=vectorstore.as_retriever(search_kwargs={"k": 3}), return_source_documents=True ) return qa_chain

4. 实际应用示例

让我们看一个具体的例子。假设某科技公司有大量的产品文档、API说明和故障排除指南。他们的员工经常需要查询这些信息。

首先，我们把所有文档放到一个目录中，比如./company_docs/，然后运行以下代码来建立知识库：

# 加载和预处理文档 documents = load_documents("./company_docs/") # 处理文档并创建向量数据库 vectorstore = process_documents(documents) # 创建问答链 qa_chain = create_qa_chain(vectorstore)

现在员工可以这样查询信息：

# 查询产品信息 question = "我们公司的最新产品的核心功能有哪些？" result = qa_chain({"query": question}) print(f"答案: {result['result']}") # 查询技术问题解决方案 question = "如何解决API调用超时的问题？" result = qa_chain({"query": question}) print(f"答案: {result['result']}")

系统会从文档中找到最相关的信息，然后用Llama模型生成自然、易懂的回答。如果员工对答案有后续问题，还可以继续追问，系统会保持对话的上下文。