如何用Feynman的rank命令给论文排优先级：PaperRank基于引用与复现证据的科学评分完整指南

如何用Feynman的rank命令给论文排优先级：PaperRank基于引用与复现证据的科学评分完整指南

【免费下载链接】feynman项目地址: https://gitcode.com/gh_mirrors/feynman/feynman

Feynman 是一个开源 AI 科研智能体，它的feynman rank命令内置了 PaperRank 评分引擎：输入一个研究主题，它会自动检索论文，并基于引用证据与复现证据（复现性信号）给每篇论文算出一个 0–100 的“先读分数”（read-first score），帮你快速决定该先读哪几篇。这篇文章用尽量少的代码，讲清楚它的评分原理、常用参数和输出产物。

为什么需要给论文排优先级

进入一个新研究方向时，你可能会遇到这样的困境：搜出来几十篇论文，哪篇是奠基工作？哪篇是最新突破？哪篇虽然引用多但复现困难？

rank命令把这类判断变成了可审计的确定性流程：所有分数都能追溯到 OpenAlex 元数据、本地引用图和全文线索，而不是“黑盒直觉”。

核心结论：PaperRank 不是简单的引用数排序，而是六个信号的加权组合 + 证据审计。

快速上手：一条命令得到论文优先级列表

安装 Feynman 后，在终端执行（以机制可解释性方向为例）：

feynman rank "mechanistic interpretability sparse autoencoders"

命令会完成四步：

1. 检索：从 OpenAlex 获取与该主题匹配的论文（默认最多 25 篇，--limit最高 100）
2. 打分：对每篇论文计算六个维度信号，加权合成readFirstScore
3. 审计：生成评分审计、敏感性分析和引用网络图
4. 产出：把报告和全部中间数据写入outputs/目录

命令行入口在 src/cli.ts，评分核心实现在 src/rank/paper-rank.ts。

评分原理：六个信号如何合成一个分数

默认权重定义在 paper-rank.ts 的DEFAULT_SCORE_WEIGHTS中：

几个值得注意的设计细节：

• 引用影响优先用规范化百分位：一篇 2023 年的论文不会被 2003 年的经典高引论文压垮，因为百分位是按“工作类型 + 年份 + 子领域”归一化的（见 scoreCitationImpact）。
• 图谱声望是本地 PageRank：Feynman 会把种子论文及其参考文献、引用者连成一张局部引用图，再跑 PageRank 风格的名望计算（buildCitationGraph）。被“枢纽”引用比被一堆边缘论文引用更有分量。
• 引用速度抑制老论文偏置：用“每年平均被引次数”衡量，让刚发表但势头猛的论文也能进入前排。
• 撤稿惩罚：被 OpenAlex 标记为撤稿（retracted）的论文，总分会被强制压到 20 分以下（scorePapers）。

复现证据：不只是查代码仓库

方法论与可复现性两个维度，背后是借鉴 NeurIPS 论文清单（Paper Checklist）的五项确定性检查（PAPER_RUBRIC_ITEMS）：

• 局限性讨论：是否说明了假设、范围与弱点
• 复现路径：是否给出复现主结果的路径（命令、环境、代码可用性）
• 实验细节：数据集、基线、指标、超参数是否写清楚
• 统计显著性：是否报告了误差、置信区间或方差
• 计算资源：是否说明复现所需算力

每项检查会在论文的标题、摘要、甚至拉取的全文中定位“证据片段”（比如找到了github、reproduce、ablation这类标记词），并在审计报告里逐条列出。也就是说，“可复现性 80 分”背后能看到具体是哪句话给的证据——这正是它区别于直觉评分的地方。

三个可选加深参数，按需加证据

示例：

feynman rank "mechanistic interpretability sparse autoencoders" --expand-citations 2 --full-text-top 3

输出产物：分数如何审计

一次rank运行会在outputs/下生成一整套可追溯文件（产物清单）：

• *-paper-rank.md— 主报告：排名 + 先读分数
• *-scores.jsonl— 每篇论文六维信号明细
• *-score-audit.md— 评分审计：每个分数的解释与证据
• *-rank-sensitivity.json— 权重敏感性分析
• *-citation-graph.json与*-graph-explorer.html— 本地引用图（HTML 版可交互浏览）
• *-rank.provenance.md— 数据来源账本，记录每个字段来自哪个接口

敏感性分析：排名到底稳不稳

PaperRank 会用五套权重档案（均衡、影响力优先、方法+复现优先、前沿优先、主题优先，见 SCORE_SENSITIVITY_PROFILES）重算排名，把每篇论文标记为：

• stable：换任何权重档案排名都不动，可以放心按序阅读
• sensitive：部分档案下名次有波动
• volatile：排名对权重高度敏感，需要更仔细人工判断

这等于给你的优先级列表附带了一份“置信度说明”。

适合谁用

• 新方向入门：先跑一次rank，按 stable 排名从第 1 篇读起
• 文献综述前置：用--expand-citations+--synthesize快速拿到带证据的综述骨架
• 严谨性要求高的场景：查看*-score-audit.md，确认高分背后有真实复现证据

更多细节可参考 paper-rank.test.ts 的测试用例，以及样例数据 openalex-rank.json，它们能帮你直观理解一次评分的输入长什么样。

【免费下载链接】feynman项目地址: https://gitcode.com/gh_mirrors/feynman/feynman