当前位置：首页 > news >正文

【RAG】【vector_stores055】Milvus向量存储

news 2026/7/18 15:03:41

案例目标

本案例展示了如何使用Milvus作为LlamaIndex的向量存储后端，构建检索增强生成(RAG)系统。Milvus是全球最先进的开源向量数据库，专为支持嵌入相似性搜索和AI应用而构建。通过本案例，您将学习如何：

配置Milvus向量存储，支持本地文件、Docker服务器和Zilliz Cloud三种部署方式
将文档向量化并存储到Milvus中
构建基于Milvus的向量索引
执行向量查询并获取相关文档内容
实现元数据过滤功能，提高检索精度
管理索引的覆盖和追加操作

技术栈与核心依赖

本案例使用的主要技术栈和依赖包括：

Milvus: 开源向量数据库，支持大规模向量相似性搜索
llama-index-vector-stores-milvus: LlamaIndex的Milvus向量存储适配器
LlamaIndex: 用于构建向量索引和查询引擎的核心框架
pymilvus: Milvus的Python客户端库
OpenAI: 用于生成嵌入和回答问题的API服务

环境配置

在运行本案例之前，需要完成以下环境配置：

安装依赖

首先需要安装必要的依赖包：

%pip install llama-index-vector-stores-milvus %pip install llama-index %pip install pymilvus>=2.4.2

注意

如果您使用的是Google Colab，为了启用刚刚安装的依赖，您可能需要重启运行时（点击屏幕顶部的"Runtime"菜单，然后从下拉菜单中选择"Restart session"）。

配置OpenAI API

设置OpenAI API密钥以访问ChatGPT：

import openai openai.api_key = "sk-***********"

准备数据

下载示例数据：

! mkdir -p "data/" ! wget "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/paul_graham/paul_graham_essay.txt" -O "data/paul_graham_essay.txt" ! wget "https://raw.githubusercontent.com/run-llama/llama_index/main/docs/examples/data/10k/uber_2021.pdf" -O "data/uber_2021.pdf"

案例实现

1. 加载文档

首先，我们使用SimpleDirectoryReader加载Paul Graham的论文：

from llama_index.core import SimpleDirectoryReader # 加载文档 documents = SimpleDirectoryReader( input_files=["./data/paul_graham_essay.txt"] ).load_data() print("Document ID:", documents[0].doc_id)

2. 创建Milvus向量存储和索引

接下来，我们创建MilvusVectorStore并构建向量索引：

from llama_index.core import VectorStoreIndex, StorageContext from llama_index.vector_stores.milvus import MilvusVectorStore vector_store = MilvusVectorStore( uri="./milvus_demo.db", dim=1536, overwrite=True ) storage_context = StorageContext.from_defaults(vector_store=vector_store) index = VectorStoreIndex.from_documents( documents, storage_context=storage_context )

提示

对于MilvusVectorStore的参数：

将uri设置为本地文件（如./milvus.db）是最方便的方法，它会自动使用Milvus Lite将所有数据存储在此文件中
如果您有大规模数据，可以在docker或kubernetes上设置性能更高的Milvus服务器，然后使用服务器uri（如http://localhost:19530）作为您的uri
如果您想使用Zilliz Cloud（Milvus的全托管云服务），请调整uri和token，它们对应于Zilliz Cloud中的公共端点和API密钥

3. 查询数据

创建查询引擎并执行查询：

query_engine = index.as_query_engine() res = query_engine.query("What did the author learn?") print(res) res = query_engine.query( "What challenges did the disease pose for the author?" ) print(res)

4. 索引管理

覆盖现有索引

以下测试展示了覆盖操作会删除之前的数据：

from llama_index.core import Document vector_store = MilvusVectorStore( uri="./milvus_demo.db", dim=1536, overwrite=True ) storage_context = StorageContext.from_defaults(vector_store=vector_store) index = VectorStoreIndex.from_documents( [Document(text="The number that is being searched for is ten.")], storage_context, ) query_engine = index.as_query_engine() res = query_engine.query("Who is the author?") print(res)

向现有索引添加数据

以下测试展示了向已存在的索引添加额外数据：

del index, vector_store, storage_context, query_engine vector_store = MilvusVectorStore(uri="./milvus_demo.db", overwrite=False) storage_context = StorageContext.from_defaults(vector_store=vector_store) index = VectorStoreIndex.from_documents( documents, storage_context=storage_context ) query_engine = index.as_query_engine() res = query_engine.query("What is the number?") print(res) res = query_engine.query("Who is the author?") print(res)

5. 元数据过滤

我们可以通过过滤特定源来生成结果。以下示例说明了如何从目录加载所有文档，然后根据元数据进行过滤：

from llama_index.core.vector_stores import ExactMatchFilter, MetadataFilters # 加载之前加载的两个文档 documents_all = SimpleDirectoryReader("./data/").load_data() vector_store = MilvusVectorStore( uri="./milvus_demo.db", dim=1536, overwrite=True ) storage_context = StorageContext.from_defaults(vector_store=vector_store) index = VectorStoreIndex.from_documents(documents_all, storage_context)

从uber_2021.pdf文件检索文档

filters = MetadataFilters( filters=[ExactMatchFilter(key="file_name", value="uber_2021.pdf")] ) query_engine = index.as_query_engine(filters=filters) res = query_engine.query( "What challenges did the disease pose for the author?" ) print(res)

从paul_graham_essay.txt文件检索文档

filters = MetadataFilters( filters=[ExactMatchFilter(key="file_name", value="paul_graham_essay.txt")] ) query_engine = index.as_query_engine(filters=filters) res = query_engine.query( "What challenges did the disease pose for the author?" ) print(res)