KohakuRAG：层次化RAG的新范式
https://github.com/kohaku-lab/KohakuRAG KohakuRAG: A simple RAG framework with hierarchical document indexing https://arxiv.org/pdf/2603.07612一、RAG的三大痛点
检索增强生成（RAG）已成为解决大模型幻觉和知识时效性的标准方案，但在高精度引用场景中，传统RAG面临三重挑战：
痛点 | 具体问题 |
|---|---|
| 结构丢失 | 扁平分块破坏文档层级，难以精准定位引用来源 |
| 词汇鸿沟 | 用户问"PUE"，文档写"power usage effectiveness"，单查询检索漏检 |
| 答案不稳定 | 单次推理结果随机波动，引用选择不一致 |
WattBot 2025挑战赛正是检验这些痛点的试金石：32篇AI能耗技术文档（约50万token），回答300道技术问题，要求数值误差≤0.1%、引用精确、证据不足时主动弃权。KohakuRAG以0.861分夺得公私榜双第一，且是唯一保持双榜第一的团队。
二、方案：三层架构破解难题
KohakuRAG提出层次化索引 + 多查询检索 + 集成推理的三层架构：
2.1 层次化索引：保留文档结构
将文档解析为四级树结构（文档→章节→段落→句子），自底向上聚合embedding：
句子节点：直接编码
上层节点：子节点长度加权平均
优势：天然提供多粒度引用边界，段落/章节级embedding捕获组合语义。
📊Table 1显示：Jina v4多模态embedding（+图片）在k=16时达到0.890，比纯文本提升6.6pp
2.2 多查询检索：弥合词汇鸿沟
LLM查询规划器将问题扩展为n个语义相关查询（如"PUE"扩展为"Power Usage Effectiveness"、"energy efficiency ratio"），每个查询独立检索Top-K。
跨查询重排序：利用共识信号——被更多查询命中的节点排名更高。支持三种策略：
Frequency：按命中查询数排序
Score：按累计相似度排序
Combined：归一化后加权融合
2.3 集成推理：稳定答案输出
执行m次独立推理，通过弃权感知投票聚合：
ignore_blank=true：过滤弃权响应后再投票（防止保守运行主导）
AnswerPriority：先投票选答案，再从匹配答案的运行中收集引用
重试机制：当模型因证据不足弃权时，自动扩大Top-K重新检索，解决26.8%的"不必要弃权"错误。
三、结论：关键发现与数据验证
3.1 消融实验亮点
组件 | 关键发现 | 提升幅度 |
|---|---|---|
| Prompt重排序 | 上下文放问题前（C→Q）vs 标准顺序（Q→C） | **+80%**（k=4时0.418→0.752） |
| 重试机制 | 解决不必要弃权 | **+69%**（k=4时0.488→0.827） |
| 集成投票 | ignore_blank过滤 | +1.2pp （n=9时0.882→0.894） |
| BM25混合 | 层次化稠密检索已足够强 | 仅+3.1pp |
📊Table 2完整数据：Prompt重排序在k=4/8/16均显著优于标准顺序（p<0.05）
3.2 榜单表现
Table 5 - Leaderboard
配置 | 公榜 | 私榜 | 特点 |
|---|---|---|---|
GPT-oss-120B 7-ensemble + BM25 | 0.862 | 0.857 | 最稳定（分差仅0.5%） |
Gemini-3-pro + 图片 | 0.901 | 0.839 | 单轮最高但波动大（-6.2%） |
| Top-5混合集成 | 0.902 | 0.861 | 双榜第一 |
核心洞察：集成方法显著提升跨分布稳定性。单模型Gemini虽公榜最高，私榜暴跌6.2%；而KohakuRAG的跨模型集成融合Gemini视觉能力与GPT-oss文本理解，实现鲁棒泛化。
3.3 错误分析启示
对2,583次预测的错误分解：
不必要弃权（26.8%）→ 重试机制直接针对
引用不匹配（23.6%）→ 未来方向：引用约束解码
数值选择错误（22.2%）→ 需更精细的查询分解
总结
KohakuRAG证明：结构感知索引 + 多查询覆盖 + 集成稳定性是高精度RAG的三驾马车。其开源实现为技术文档问答提供了即插即用的解决方案，尤其在需要精确引用和数值准确性的场景中表现卓越。