当前位置：首页 > news >正文

HELMSMAN：小红书OSDI 2026向量检索系统架构与性能优化实践

news 2026/7/26 4:57:54

小红书引擎架构团队OSDI 2026新成果：HELMSMAN重塑大规模向量检索基础设施

在当今AI应用爆炸式增长的时代，向量检索技术已成为推荐系统、图像搜索、自然语言处理等领域的核心基础设施。然而，随着数据规模的不断扩大，传统向量检索系统在性能、可扩展性和资源效率方面面临着严峻挑战。近期，小红书引擎架构团队在OSDI 2026上发布的HELMSMAN系统，为解决大规模向量检索的瓶颈问题提供了创新性解决方案。

本文将深入解析HELMSMAN系统的架构设计、核心技术原理以及实际应用场景，帮助开发者全面了解这一前沿技术。无论你是从事推荐系统开发、搜索引擎优化，还是对高性能计算感兴趣的技术爱好者，都能从本文获得实用的技术洞察和实践指导。

1. 向量检索技术背景与挑战

1.1 什么是向量检索

向量检索（Vector Search）是一种基于向量相似度的信息检索技术。它将文本、图像、音频等非结构化数据通过深度学习模型转换为高维向量表示，然后通过计算向量之间的距离或相似度来找到最相关的数据项。

在实际应用中，向量检索通常涉及以下步骤：

数据嵌入：使用预训练模型将原始数据转换为向量表示
索引构建：对向量数据进行高效索引结构组织
相似度计算：查询时计算查询向量与索引中向量的距离
结果排序：按相似度得分返回最相关的结果

1.2 大规模向量检索的技术挑战

随着数据量从百万级扩展到十亿甚至百亿级别，传统向量检索系统面临多重挑战：

性能瓶颈问题：当向量维度达到数百甚至数千维时，精确计算所有向量间的距离变得计算密集且耗时。即使使用近似最近邻搜索（ANNS）算法，在超大规模数据集上仍然存在显著的性能衰减。

内存与存储压力：十亿级别的768维浮点数向量需要约3TB的存储空间，这对内存和存储系统提出了极高要求。传统基于内存的索引方案在成本上变得不可行。

硬件利用率低下：现有向量检索系统往往无法充分利用现代硬件特性，如NVMe SSD的高IOPS能力、RDMA网络的低延迟特性，以及GPU的并行计算能力。

系统可扩展性限制：单一节点的资源限制使得系统难以应对持续增长的数据规模，而分布式方案又面临着数据一致性、查询路由复杂度的挑战。

2. HELMSMAN系统架构概述

2.1 设计理念与核心创新

HELMSMAN系统的设计理念是通过软硬件协同优化，重新思考向量检索的系统栈。其核心创新体现在三个层面：

存储计算分离架构：HELMSMAN采用创新的存储计算分离设计，将向量数据存储在高速NVMe SSD上，通过SPDK（Storage Performance Development Kit）实现用户态的高效数据访问，避免传统内核态存储栈的开销。

分层索引结构：系统设计了自适应的分层索引机制，结合内存中的粗粒度索引和SSD上的细粒度数据，在保证召回率的同时大幅降低内存占用。

硬件感知的查询优化：HELMSMAN深度优化了查询执行引擎，充分利用现代硬件的并行处理能力，包括多核CPU、GPU加速以及RDMA网络。

2.2 系统组件详解

HELMSMAN系统由四个核心组件构成：

向量存储引擎：基于SPDK构建的高性能向量存储层，支持高效的批量向量读写操作。通过直接用户态访问NVMe设备，避免了内核上下文切换的开销。

// HELMSMAN向量存储引擎的核心接口示例 class VectorStorageEngine { public: // 初始化SPDK环境 bool initialize(const StorageConfig& config); // 批量写入向量数据 Status batch_write(const std::vector<Vector>& vectors, const std::vector<VectorId>& ids); // 基于向量ID范围读取 Status range_read(VectorId start_id, uint32_t count, std::vector<Vector>& results); // 异步读取接口，支持回调 Status async_read(VectorId id, ReadCallback callback); private: SPDKEnv* spdk_env_; NVMeQueue* io_queues_; };

索引管理模块：负责构建和维护分层索引结构，包括内存中的聚类中心和SSD上的向量分区。

查询执行引擎：将用户查询转换为高效的执行计划，协调各个组件完成向量相似度计算。

资源调度器：动态管理CPU、内存、IO等系统资源，确保系统在多变负载下的稳定性能。

3. HELMSMAN核心技术深度解析

3.1 基于SPDK的高性能存储访问

SPDK是HELMSMAN实现高性能存储访问的关键技术。传统的存储访问需要经过操作系统内核的文件系统层，而SPDK允许应用程序直接在用户空间访问存储设备，显著降低了IO延迟。

SPDK在HELMSMAN中的优化应用：

// SPDK向量读取优化示例 class SPDKVectorReader { public: void read_vectors_batch(const std::vector<VectorId>& ids) { // 准备DMA缓冲区 prepare_dma_buffers(ids.size()); // 提交异步IO请求 for (size_t i = 0; i < ids.size(); ++i) { submit_async_read(ids[i], i * VECTOR_SIZE); } // 等待所有IO完成 wait_for_completion(); // 处理读取到的向量数据 process_vectors(); } private: void submit_async_read(VectorId id, size_t offset) { struct spdk_nvme_qpair* qpair = get_io_qpair(); struct spdk_nvme_ns* ns = get_namespace(); // 构建NVMe命令 int rc = spdk_nvme_ns_cmd_read( ns, qpair, dma_buffers_[current_buffer], offset / spdk_nvme_ns_get_sector_size(ns), BLOCK_COUNT, io_complete_callback, (void*)current_buffer, 0); if (rc != 0) { handle_io_error(rc); } } };

3.2 分层索引与查询优化

HELMSMAN的分层索引结构是其实现高效检索的核心。系统采用两级索引设计：

第一级：内存中的聚类中心索引

使用K-means等聚类算法将向量空间划分为多个区域
每个区域用一个质心向量表示
查询时先找到最近的几个质心，缩小搜索范围

第二级：SSD上的向量数据分区

每个聚类区域内的向量按顺序存储在SSD上
采用压缩存储格式减少IO数据量
支持基于向量ID的直接访问

# HELMSMAN分层索引查询流程示例 class HierarchicalIndex: def __init__(self, num_clusters, vector_dim): self.cluster_centers = np.random.randn(num_clusters, vector_dim) self.cluster_assignments = {} self.vector_storage = VectorStorage() def query(self, query_vector, top_k=10): # 第一步：在内存中查找最近聚类中心 cluster_distances = compute_distances(query_vector, self.cluster_centers) nearest_clusters = find_nearest_clusters(cluster_distances, top_clusters=5) # 第二步：从SSD加载相关聚类中的向量 candidate_vectors = [] for cluster_id in nearest_clusters: cluster_vectors = self.vector_storage.load_cluster_vectors(cluster_id) candidate_vectors.extend(cluster_vectors) # 第三步：精确计算相似度并排序 similarities = compute_similarities(query_vector, candidate_vectors) top_indices = np.argsort(similarities)[-top_k:][::-1] return [candidate_vectors[i] for i in top_indices]

3.3 混合检索策略的实现

HELMSMAN支持多种检索模式的混合使用，包括纯向量检索、关键词过滤+向量检索、以及多模态检索。

父文档检索加向量关键词混合检索加重排序模型的实现：

class HybridRetrievalEngine: def __init__(self, vector_index, keyword_index, reranking_model): self.vector_index = vector_index self.keyword_index = keyword_index self.reranking_model = reranking_model def hybrid_search(self, query_vector, keywords=None, filters=None, top_k=50): # 第一阶段：多路召回 vector_results = self.vector_index.search(query_vector, top_k * 3) if keywords: keyword_results = self.keyword_index.search(keywords, top_k * 2) # 合并结果并去重 candidate_set = self.merge_results(vector_results, keyword_results) else: candidate_set = vector_results # 第二阶段：过滤 if filters: candidate_set = self.apply_filters(candidate_set, filters) # 第三阶段：重排序 if len(candidate_set) > top_k: reranked_results = self.reranking_model.rerank( query_vector, candidate_set, top_k) return reranked_results else: return candidate_set[:top_k]

4. HELMSMAN性能优化技术

4.1 内存管理优化

HELMSMAN通过精细的内存管理策略，在保证性能的同时控制内存使用：

向量数据压缩：采用标量化（Scalar Quantization）和乘积量化（Product Quantization）技术，将原始浮点数向量压缩为更紧凑的表示形式。

缓存策略优化：实现基于访问频率的热点数据缓存机制，结合LRU-K算法更准确地预测数据访问模式。

// 向量量化压缩示例 class VectorQuantizer { public: CompressedVector quantize(const Vector& original) { // 将原始向量分割为多个子向量 auto sub_vectors = split_vector(original, sub_vector_size_); // 对每个子向量进行最近质心查找 CompressedVector compressed; for (const auto& sub_vec : sub_vectors) { uint8_t code = find_nearest_centroid(sub_vec, codebook_); compressed.codes.push_back(code); } return compressed; } Vector decompress(const CompressedVector& compressed) { Vector reconstructed(dimension_); // 根据编码重构向量 for (size_t i = 0; i < compressed.codes.size(); ++i) { const auto& centroid = codebook_[compressed.codes[i]]; // 将质心向量复制到对应位置 std::copy(centroid.begin(), centroid.end(), reconstructed.begin() + i * sub_vector_size_); } return reconstructed; } };

4.2 查询执行优化

HELMSMAN的查询执行引擎采用多种优化技术提升吞吐量：

批量查询处理：将多个查询请求批量处理，减少系统调用开销，提高硬件利用率。

异步IO流水线：实现读取、计算、排序的流水线执行，隐藏IO延迟。

// 异步查询执行引擎示例 class AsyncQueryEngine { public: void process_queries_batch(const std::vector<Query>& queries) { // 阶段1：异步加载聚类信息 auto cluster_future = async_load_cluster_data(queries); // 阶段2：计算聚类距离（与阶段1重叠执行） cluster_future.then([this](ClusterData cluster_data) { return async_compute_cluster_distances(cluster_data); }).then([this](DistanceResults dist_results) { // 阶段3：异步加载候选向量 return async_load_candidates(dist_results); }).then([this](CandidateVectors candidates) { // 阶段4：精确相似度计算 return async_compute_similarities(candidates); }).then([this](SimilarityResults results) { // 阶段5：结果排序和返回 return async_sort_and_return(results); }); } };

5. 实际应用场景与部署实践

5.1 小红书推荐系统中的应用

在小红书的实际业务中，HELMSMAN主要应用于以下场景：

内容推荐：基于用户历史行为和内容特征，实现个性化的内容推荐。通过向量检索快速找到与用户兴趣相似的内容。

图像搜索：支持用户通过图片搜索相似内容，应用于时尚穿搭、美妆产品等视觉搜索场景。

语义搜索：理解用户查询的语义意图，超越关键词匹配的局限性，提供更精准的搜索结果。

5.2 系统部署架构

在生产环境中，HELMSMAN通常采用分布式部署架构：

# HELMSMAN集群配置示例 cluster: name: "vector-search-cluster" nodes: - id: "node-1" role: "query" resources: cpu: 16 memory: "64Gi" storage: "2T NVMe" - id: "node-2" role: "index" resources: cpu: 32 memory: "128Gi" storage: "8T NVMe" - id: "node-3" role: "storage" resources: cpu: 8 memory: "32Gi" storage: "20T NVMe" storage: engine: "spdk" compression: "pq8" # 8字节乘积量化 cache_size: "32Gi" index: hierarchical: true num_clusters: 10000 cluster_refresh_interval: "24h"

5.3 性能监控与调优

HELMSMAN提供完善的监控指标，帮助运维人员实时了解系统状态：

关键监控指标：

查询延迟（P50、P95、P99）
系统吞吐量（QPS）
内存使用率
SSD IOPS和带宽利用率
缓存命中率

性能调优参数：

# 性能调优配置示例 performance_tuning = { 'io_batch_size': 32, # IO批量大小 'max_concurrent_queries': 100, # 最大并发查询数 'cache_warmup_strategy': 'lru2', # 缓存预热策略 'compression_level': 'balanced', # 压缩级别 'prefetch_distance': 10, # 预取距离 }

6. 与传统向量检索系统对比

6.1 性能对比分析

根据OSDI 2026论文中的实验数据，HELMSMAN在多个维度上显著优于传统向量检索系统：

吞吐量提升：在相同硬件配置下，HELMSMAN的查询吞吐量比Faiss高3-5倍，比ES的向量检索插件高10倍以上。

内存效率：HELMSMAN的内存使用量仅为纯内存方案的10-20%，使得百亿级向量检索在单机成为可能。

延迟表现：P95延迟降低60%以上，特别是在高并发场景下表现更加稳定。

6.2 功能特性对比

特性	传统系统	HELMSMAN
数据规模支持	亿级	百亿级
存储介质	主要依赖内存	内存+NVMe SSD混合
硬件利用	有限优化	深度硬件协同优化
分布式支持	需要复杂分片	原生分布式架构
混合检索	有限支持	完整混合检索能力

7. 开发与集成指南

7.1 快速入门示例

以下是一个使用HELMSMAN Python SDK进行向量检索的完整示例：

import helmssdk import numpy as np # 初始化客户端 client = helmssdk.HelmsmanClient( endpoint="localhost:8080", cluster_name="my-cluster" ) # 创建索引 index_config = { "dimension": 768, "metric_type": "cosine", "index_type": "hierarchical", "compression": "pq16" } index = client.create_index("my_index", index_config) # 批量插入向量 vectors = np.random.randn(10000, 768).astype(np.float32) ids = [f"vec_{i}" for i in range(10000)] index.insert(vectors, ids) # 执行查询 query_vector = np.random.randn(768).astype(np.float32) results = index.search(query_vector, top_k=10) print("Top 10 results:", results)

7.2 高级功能使用

HELMSMAN支持多种高级检索功能，满足复杂业务需求：

带过滤条件的向量检索：

# 结合属性过滤的向量检索 filter_condition = { "category": ["fashion", "beauty"], "price_range": {"min": 100, "max": 500}, "timestamp": {"gte": "2024-01-01"} } results = index.search( query_vector, top_k=20, filters=filter_condition )

多向量联合检索：

# 多查询向量融合检索 query_vectors = [vector1, vector2, vector3] fusion_results = index.multi_vector_search( query_vectors, fusion_strategy="weighted_average", # 加权平均融合 weights=[0.5, 0.3, 0.2], top_k=15 )

8. 常见问题与解决方案

8.1 性能相关问题

问题1：查询延迟突然升高

可能原因：SSD带宽饱和、内存不足、热点数据访问
解决方案：检查IO监控指标、调整批量大小、优化数据分布

问题2：索引构建时间过长

可能原因：数据量过大、聚类算法参数不合理
解决方案：采用增量索引构建、调整聚类数量、使用更高效的聚类算法

8.2 功能使用问题

问题3：召回率不满足业务需求

可能原因：聚类数量不足、量化误差过大
解决方案：增加聚类数量、调整量化参数、使用更精细的分层策略

问题4：内存使用超出预期

可能原因：缓存配置过大、向量维度过高
解决方案：调整缓存策略、使用更高效的压缩算法、优化数据布局

8.3 运维相关问题

问题5：节点故障处理

解决方案：HELMSMAN支持数据自动复制和故障转移，确保高可用性

问题6：数据一致性保证

解决方案：通过写前日志（WAL）和分布式一致性协议保证数据可靠性

9. 最佳实践与优化建议

9.1 数据建模最佳实践

向量维度选择：根据业务需求平衡精度和性能，通常128-1024维之间选择

数据预处理：确保输入向量的质量，进行适当的归一化和去噪处理

索引参数调优：根据数据分布特点调整聚类数量、分层深度等参数

9.2 系统配置优化

硬件选型建议：

CPU：多核高主频处理器，支持AVX512指令集
内存：足够容纳热点数据和索引结构
存储：高性能NVMe SSD，建议使用企业级产品
网络：低延迟RDMA网络（可选）

系统参数调优：

# 优化后的系统配置 system: io_scheduler: "deadline" vm_swappiness: 1 hugepages: "1G" cpu_governor: "performance" helmsman: max_open_files: 100000 block_cache_size: "16G" write_buffer_size: "512M"