当前位置: 首页 > news >正文

3分钟掌握pgvector:让PostgreSQL拥有向量搜索超能力

3分钟掌握pgvector:让PostgreSQL拥有向量搜索超能力

【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector

想要在PostgreSQL数据库中直接进行向量相似性搜索吗?pgvector正是你需要的开源扩展,它让PostgreSQL具备了专业的向量搜索能力,支持精确和近似最近邻搜索,完美融入你的数据生态系统。

读完本文,你将了解pgvector的核心功能、安装方法和实用场景,快速上手这个强大的向量搜索工具。

什么是pgvector?

pgvector是一个开源的PostgreSQL扩展,专门为向量相似性搜索而生。它支持:

  • 单精度、半精度、二进制和稀疏向量存储
  • 多种距离度量:L2距离、内积、余弦距离、L1距离、汉明距离和杰卡德距离
  • 跨语言兼容:任何支持PostgreSQL客户端的编程语言

更棒的是,pgvector继承了PostgreSQL的所有优秀特性:ACID合规性、时间点恢复、JOIN操作等。

快速安装指南

Linux和Mac系统

cd /tmp git clone --branch v0.8.1 https://gitcode.com/GitHub_Trending/pg/pgvector cd pgvector make sudo make install

Windows系统

确保已安装Visual Studio的C++支持,然后以管理员身份运行"x64 Native Tools Command Prompt":

set "PGROOT=C:\Program Files\PostgreSQL\18" cd %TEMP% git clone --branch v0.8.1 https://gitcode.com/GitHub_Trending/pg/pgvector cd pgvector nmake /F Makefile.win nmake /F Makefile.win install

核心功能实战

创建向量表

启用扩展并创建包含向量列的表:

-- 启用扩展(每个数据库只需执行一次) CREATE EXTENSION vector; -- 创建带3维向量列的表 CREATE TABLE items (id bigserial PRIMARY KEY, embedding vector(3));

插入向量数据

INSERT INTO items (embedding) VALUES ('[1,2,3]'), ('[4,5,6]');

执行相似性搜索

-- 使用L2距离查找最近邻 SELECT * FROM items ORDER BY embedding <-> '[3,1,2]' LIMIT 5;

pgvector支持多种距离操作符:

  • <->L2距离(欧几里得距离)
  • <#>负内积
  • <=>余弦距离
  • <+>L1距离(曼哈顿距离)

索引优化策略

HNSW索引:速度与精度的平衡

HNSW索引构建多层图结构,在查询性能上优于IVFFlat,但构建时间较慢且占用更多内存。

-- 为L2距离创建HNSW索引 CREATE INDEX ON items USING hnsw (embedding vector_l2_ops);

HNSW参数调优

  • m:每层最大连接数(默认16)
  • ef_construction:构建图的动态候选列表大小(默认64)

IVFFlat索引:快速构建的选择

IVFFlat索引将向量划分为多个列表,然后搜索最接近查询向量的列表子集。

-- 为L2距离创建IVFFlat索引 CREATE INDEX ON items USING ivfflat (embedding vector_l2_ops) WITH (lists = 100);

IVFFlat使用技巧

  1. 在表有足够数据后创建索引
  2. 选择合适的列表数量
  3. 查询时指定适当的探测数量

高级功能探索

混合搜索:文本+向量

结合PostgreSQL全文搜索实现混合搜索:

SELECT id, content FROM items, plainto_tsquery('搜索词') query WHERE textsearch @@ query ORDER BY ts_rank_cd(textsearch, query) DESC LIMIT 5;

稀疏向量支持

存储和搜索稀疏向量:

CREATE TABLE items (id bigserial PRIMARY KEY, embedding sparsevec(5)); INSERT INTO items (embedding) VALUES ('{1:1,3:2,5:3}/5'), ('{1:4,3:5,5:6}/5'); SELECT * FROM items ORDER BY embedding <-> '{1:3,3:1,5:2}/5' LIMIT 5;

性能优化要点

内存配置

-- 提高维护工作内存以加速索引构建 SET maintenance_work_mem = '8GB';

并行处理

-- 增加并行工作线程数量 SET max_parallel_maintenance_workers = 7;

常见问题解决

索引未被使用?

确保查询包含ORDER BYLIMIT,且ORDER BY必须是距离操作符的结果:

-- 正确:使用索引 ORDER BY embedding <=> '[3,1,2]' LIMIT 5; -- 错误:不使用索引 ORDER BY 1 - (embedding <=> '[3,1,2]') DESC LIMIT 5;

查询结果过少?

对于HNSW索引,增加动态候选列表大小:

SET hnsw.ef_search = 100;

实际应用场景

pgvector在以下场景中表现出色:

  1. 推荐系统:基于用户行为向量寻找相似用户
  2. 图像搜索:基于图像特征向量查找相似图片
  3. 语义搜索:基于文本嵌入向量进行语义相似性匹配
  4. 异常检测:基于模式向量识别异常行为

总结

pgvector为PostgreSQL注入了向量搜索的超能力,让你能够在熟悉的数据库环境中处理复杂的相似性搜索任务。无论是简单的向量存储还是大规模的生产环境,pgvector都能提供稳定可靠的性能。

开始你的向量搜索之旅吧!在PostgreSQL中创建第一个向量表,体验pgvector带来的便利和强大功能。记住,向量搜索不再是专业系统的专利,现在它就在你的PostgreSQL数据库中!

【免费下载链接】pgvectorOpen-source vector similarity search for Postgres项目地址: https://gitcode.com/GitHub_Trending/pg/pgvector

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

http://www.cnnetsun.cn/news/742387.html

相关文章:

  • 终极修复Atmosphere-NX睡眠异常:Switch玩家的完整解决方案指南
  • WAN2.2 All In One终极指南:8GB显存轻松玩转AI视频生成
  • 告别环境配置烦恼:GPEN镜像实现开箱即用人像修复
  • SAM3文本引导分割实战|Gradio交互式Web界面快速上手
  • VoidImageViewer全新升级:图像浏览体验的全面革新
  • Atlas-OS性能调优实战手册:从基础配置到专业级优化
  • RedisInsight终极安装指南:在Windows上快速部署可视化Redis管理平台
  • OpenCode:重塑终端编程体验的智能助手
  • 5分钟快速上手:VOSK离线语音识别终极指南
  • InsightFace完全指南:免费开源的人脸识别终极解决方案
  • Glyph如何实现长文本压缩?视觉渲染技术入门必看
  • DeepSeek-R1-Distill-Qwen-1.5B工业落地案例:自动化脚本生成系统
  • vFlow实战指南:构建企业级网络流量监控系统的5个关键步骤
  • 终极突破:DeepSeek-Coder-V2本地化部署完整解决方案
  • 开源大模型落地趋势:Qwen3系列多场景应用一文详解
  • 如何彻底解决Switch休眠异常:Atmosphere自定义固件完整优化指南
  • RedisInsight实战指南:告别命令行,拥抱可视化Redis管理新时代
  • 实测SAM 3:一键分割图片视频效果惊艳
  • 如何在5个简单步骤中用OpenCore Legacy Patcher让老Mac焕然一新
  • Cursor限制解除终极指南:一键解决试用期限制问题
  • Qwen3-Embedding-4B镜像部署:JupyterLab调用验证详细步骤
  • 告别复杂配置!400MB的BERT填空镜像让NLP任务开箱即用
  • yuzu模拟器性能优化:10个简单步骤告别卡顿闪退
  • RedisInsight实战宝典:Windows平台可视化数据库管理终极方案
  • TheBoringNotch:让你的MacBook凹槽变身智能控制中心
  • Emotion2Vec+ Large嵌入式部署:Jetson设备适配实战
  • 开源语音合成技术趋势:Sambert与IndexTTS-2多场景应用
  • RedisInsight终极部署方案:如何告别命令行时代实现可视化Redis管理
  • Qwen All-in-One商业价值:为企业带来的实际收益
  • 说话人识别实战:用CAM++镜像轻松搭建声纹比对应用