当前位置：首页 > news >正文

PG-LLM：标准化蛋白突变排序基准，横评108款模型

news 2026/8/27 5:09:00

深度学习与蛋白质工程的碰撞，这几年催生了不少令人眼前一亮的工作。尤其是在蛋白突变功能预测这个方向上，大型语言模型（LLM）被寄予厚望，但一个尴尬的问题一直存在：不同论文用不同的数据集、不同的评估脚本、不同的指标，导致模型之间根本没法公平对比。你很难判断一个模型效果好，到底是模型本身的架构厉害，还是评测流程放水了。

最近哈佛大学团队提出的 PG-LLM 基准，正是冲着这个痛点去的。它把目光聚焦在**蛋白突变排序（mutation prioritization）**这个具体任务上，一次性横评了 13 款主流通用 LLM 和 95 种专业生物模型，试图为这个领域立下一个标准化的评测标杆。

本文将拆解 PG-LLM 到底做了什么、它的评测设计有哪些值得借鉴的细节、以及作为研究人员或算法工程师，你能从这套基准中学到什么。

1. 背景与核心概念：为什么蛋白突变排序需要一套标准化基准

1.1 蛋白突变排序是什么

在基因组学和蛋白质工程中，我们经常面对一个问题：一个蛋白的某个氨基酸位点发生了突变，这个突变会不会影响蛋白的功能？是致病还是良性？是让酶活性增强还是让蛋白直接降解？

传统的实验方法，比如深度突变扫描（Deep Mutational Scanning, DMS），可以非常精确地回答这个问题，但它需要在湿实验室里构建突变体库、表达蛋白、做功能筛选，成本高、周期长。于是，计算预测方法就成了高通量筛选的第一道漏斗。

蛋白突变排序要做的事情，就是给定一个蛋白序列和一组候选突变，算法需要给每个突变打一个分，把最可能导致功能异常、或最可能提升某种功能的突变排到最前面。这个“排序”动作非常重要，因为下游实验往往只会验证排名前几十的候选，排序准不准，直接决定了计算筛选的实用价值。

1.2 LLM 凭什么能预测蛋白突变效应

通用大语言模型，比如 GPT 系列、Claude、Llama 等，原本是在海量自然语言文本上训练的。蛋白序列本质上也是一种由 20 种氨基酸字母组成的“语言”，其序列模式中蕴含着结构、功能和进化的信息。

于是研究者自然产生了一个想法：能不能让通用 LLM 直接读蛋白序列，然后像做阅读理解一样回答“这个突变会怎样”？

另外，还有一类更贴近生物领域的蛋白质语言模型（Protein Language Model），比如 ESM、ProtTrans 等。它们在大规模蛋白序列库上预训练，对蛋白序列的“语法”理解更深，已经在结构预测、功能注释、突变效应预测等任务上表现出色。

但问题也随之而来：通用 LLM 的推理能力强，却不一定懂蛋白序列；蛋白语言模型的序列理解能力强，却不擅长做问答和排序。到底谁更适合蛋白突变排序？没有统一评测，谁也说不清。

1.3 标准化评测基准为什么要单独提出来

过去几年，蛋白突变预测的评测论文并不少，但问题在于“各玩各的”：

有的用 ClinVar 数据库，有的用 DMS 数据集，数据来源不一致；
有的报告 AUC 值，有的报告 Spearman 相关系数，指标不统一；
有的只测同义突变和错义突变，有的混入无义突变，任务边界不清楚；
有的算的是“分类”准确率，有的算的是“排序”质量，但论文里混着说。

这样的结果是：模型之间的对比没有公信力，新模型声称的效果提升也无法被复现验证。

PG-LLM 的核心价值就在于“标准化”：它把数据、任务定义、评估流程和指标都固定下来，让所有模型在同样的起跑线上比较。这也是“标准化评测基准”这几个字的分量所在。

2. PG-LLM 评测基准的核心设计思路

虽然目前公开的资料里没有把 PG-LLM 的每一个数据集细节都完整披露，但从基准设计的通用逻辑和标题所透露的信息来看，我们可以拆解出一套高质量的评测基准应该具备哪些核心模块。

2.1 任务定义：把问题严格限定在“排序”上

PG-LLM 没有把任务定义成“这个突变是致病还是良性”的二分类，而是聚焦在排序上。这是很关键的一个设计选择。

分类任务只需要模型输出一个标签，而排序任务要求模型给每个突变一个连续的可靠性分数，并且分数的相对高低要有意义。排序任务对模型的区分度要求更高，也更贴合真实应用场景——毕竟临床决策和实验筛选看的不是孤立标签，而是“哪些突变最需要优先验证”。

从这个角度说，PG-LLM 的评测任务设计比简单的分类评估更严格，也更有实际参考价值。

2.2 数据来源：覆盖真实临床与实验突变数据

一个评测基准的优劣，很大程度上取决于测试数据。对于蛋白突变排序，理想的数据集应该满足：

覆盖足够多的蛋白，不能只在两三个蛋白上测试；
同时包含功能影响较大的突变和功能影响较小的突变，保证样本分布合理；
标注来源可靠，最好是实验验证或者临床数据库记录的结果。

从 PG-LLM 公开信息的描述来看，它的测试数据覆盖了多种功能类别，目标就是避免模型只在特定类型的数据上表现好。这一点对实际应用尤其重要：一个只在抑癌基因突变上表现好的模型，放到酶工程改造场景里可能会“翻车”。

2.3 评估指标：衡量排序质量，而不是简单准确率

评价一个排序任务做得好不好，常用的指标包括：

Spearman 秩相关系数：衡量模型打分排序与真实功能效应的单调相关性，适合考察整体排序能力；
AUC 值：把突变按标签分成“有害”和“良性”两类后，看模型能否把有害突变排得更高；
Top-K 命中率：看真实有害突变是否出现在排名前 K 个候选里，直接反映实验筛选的收益。

PG-LLM 的评估体系大概率会综合多个指标，因为它要回答的问题不只是“模型能不能区分有害/良性”，还包括“模型给出的排序是否和真实效应强度一致”。

2.4 公平性控制：同一套数据、同一个脚本、同样的 Prompt

“标准化”还体现在对评估流程的严格控制上。不同论文里使用 LLM 的方式差别很大：

有的把蛋白序列直接喂给模型，有的先做多序列比对，有的把序列切成片段；
有的用零样本提示词，有的设计了复杂的少样本示例；
有的让模型输出分数，有的让模型输出“是/否”再做阈值划分。

这些差异如果不控制，评测结果根本没法归因到“模型能力”上。PG-LLM 的思路是固定评估协议，让不同模型使用相同的输入格式、相同的任务指令、相同的评分规则，尽量把变量压缩到“模型本身”上。

这一点，恰恰是很多研究者在做 LLM 评测时容易忽略的地方。我们后面在讲工程实践时还会细说。

3. 13款通用LLM + 95种专业模型：多大规模才算有说服力

3.1 为什么同时测通用 LLM 和专业模型

标题中的“13款主流模型 + 95种专业模型”是一个非常有信息量的配置。它意味着评测不只是回答“哪个模型最好”，而是试图回答一个更上层的问题：

做蛋白突变排序，应该用通用大语言模型，还是用蛋白领域的专用模型？

这两类模型的取舍是一个真实存在的选择题：

通用 LLM好处是理解自然语言指令，能直接根据“这个突变是否致病”的人类提问输出答案，交互灵活，但它的蛋白序列理解能力来自“迁移”，而不是专门的序列预训练，可能在序列深层模式上欠拟合。
专业蛋白模型好处是在亿万条蛋白序列上预训练，序列表示能力极强，但通常需要额外接一个微调头来输出分数，使用门槛更高，也不能像对话一样解释自己的判断。

只有把两类模型放在同一个基准上，才能量化这种差距，给用户一个选型依据。PG-LLM 用这么大的模型规模做对比，本质上是在给这个领域绘制一张“能力地图”。

3.2 规模的背后：算力与评测成本控制

一次性评测 108 个模型，不是一件轻松的事。这里面有几个成本点值得大家留意：

对每个通用 LLM，可能要构造多个提示词模板，哪怕每类任务只跑一遍，108 个模型累积下来的 API 调用量也很可观；
对蛋白语言模型，虽然不需要提示词工程，但需要用模型提取蛋白质序列的嵌入，再训练或构造排序器，这涉及模型推理和特征计算；
结果整理、指标计算、误差分析也需要系统化的 pipeline。

从工程角度看，PG-LLM 团队能完成这个规模的评测，本身就说明他们在评测流程自动化上做了大量工作。这套自动化评测的思路，可以作为我们自己做模型评估时的参考模板。

3.3 评测结果能告诉我们什么

虽然目前公开结果的具体数值还不完整，但从这类评测的经验来看，通常会得出几类非常有价值的结论：

模型规模与效果的关系：是不是模型參数量越大，突变排序效果越好？还是存在收益递减？
通用性与专业性的权衡：通用 LLM 在蛋白突变排序上的表现，是否已经被专业蛋白模型甩开？还是说通用模型在特定场景下反而更稳？
任务难度的分层：是不是某些类型的数据（比如深度突变扫描数据）更容易预测，而某些类型（比如罕见临床突变）几乎所有模型都表现不佳？

这些结论无论对学术研究者还是工业界应用者，都有直接的参考价值。

4. 实战视角：构建自己的蛋白突变排序评估流程

即便你不打算复现 PG-LLM 的全部工作，这套评测基准的设计思想也可以直接迁移到自己的项目中。下面我们从实战角度，走一遍如何搭建一个最小可用的蛋白突变排序评估流程。

4.1 评估流程的总体结构

一个完整的排序评估流程，通常包含四个模块：

1. 数据准备模块：获取突变数据 + 功能效应标签 2. 模型推理模块：调用模型生成突变风险分数 3. 指标计算模块：计算排序相关指标 4. 结果汇总模块：汇总不同模型的表现，输出对比报告

下面我们分别实现。

4.2 数据准备

这里以“有一个包含突变位点和标签的数据文件”为前提。数据格式可以很简单：每一行代表一个突变，包含蛋白 ID、原始氨基酸、突变位置、突变后氨基酸、以及实验得到的效应分数或标签。

示例数据文件mutations.csv：

protein_id,wt_aa,pos,mt_aa,label P53,R,175,P,1 P53,G,245,S,1 BRCA1,A,1708,E,0 TP53,R,273,H,1

这里label=1表示有害突变，label=0表示良性突变。如果你的数据是连续的效应分数，比如 DMS 实验给出的score，也可以直接用连续值做 Spearman 相关分析。

4.3 模型打分：两种接入方式对比

接下来是核心环节：拿到模型输出的突变分数。我们以两种典型的接入方式为例。

方式一：调用通用 LLM API

当我们想测试 GPT 这类通用大语言模型时，基本思路是构造一个标准化的 Prompt，要求模型输出一个数值风险分。下面是一个 Python 示意：

import json from openai import OpenAI client = OpenAI() def score_mutation_with_llm(protein_seq, wt_aa, pos, mt_aa): prompt = f""" You are an expert in protein biology. Given the following protein sequence and a single amino acid substitution, estimate the likelihood that this mutation disrupts protein function. Return a risk score between 0 and 1, where 0 means benign and 1 means highly damaging. Protein sequence: {protein_seq} Mutation: {wt_aa}{pos}{mt_aa} Return only the numeric score in JSON format: {{"score": 0.75}} """ response = client.chat.completions.create( model="gpt-4o-mini", messages=[{"role": "user", "content": prompt}], temperature=0.0 ) content = response.choices[0].message.content return json.loads(content)["score"]

这段代码有几个细节值得注意：

temperature=0.0：对评测类任务必须关闭随机性，否则同一突变多次推理分数会抖动，影响排序公平性。
Prompt 中强制 JSON 输出：方便程序解析，避免模型输出多余文字。
对每个突变单独调用一次 API：虽然慢，但保证了每个样本的独立性，避免长上下文干扰。

方式二：使用蛋白语言模型打分

专业蛋白模型不擅长问答，但我们可以提取序列嵌入，然后在嵌入空间里比较突变前后的差异，把差异的大小当作突变效应分数。这里以 ESM 系列模型的思路为例：

import torch from transformers import AutoTokenizer, AutoModel # 示意代码：以 ESM-2 为例 model_name = "facebook/esm2_t33_650M_UR50D" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModel.from_pretrained(model_name) model.eval() def get_protein_embedding(seq: str): inputs = tokenizer(seq, return_tensors="pt") with torch.no_grad(): outputs = model(**inputs) # 取最后一层所有 token 的嵌入均值作为序列表示 return outputs.last_hidden_state.mean(dim=1).squeeze().numpy() def score_mutation_with_esm(wt_seq, pos, mt_aa): # 将第 pos 位替换为突变后的氨基酸 mt_seq = wt_seq[:pos] + mt_aa + wt_seq[pos+1:] wt_emb = get_protein_embedding(wt_seq) mt_emb = get_protein_embedding(mt_seq) # 用欧氏距离作为突变效应的粗略估计 return float(((wt_emb - mt_emb) ** 2).sum() ** 0.5)

这里有一个容易被忽视的细节：序列嵌入的距离并不等于功能效应。真实场景中更严谨的做法是使用在突变效应数据上微调过的模型，或者用掩码语言模型的 log-likelihood 差异来计算。上面的代码是演示流程，实际生产使用时需要根据模型能力调整打分函数。

4.4 评估指标计算

拿到模型的预测分数后，我们需要计算排序质量指标。下面是一个完整的评估脚本：

import pandas as pd from scipy.stats import spearmanr from sklearn.metrics import roc_auc_score def evaluate_ranking(predictions: pd.DataFrame): """ predictions 必须包含三列： - label: 真实标签，0/1 - score: 模型预测的风险分数，越大表示越可能有害 - model_name: 模型名称（可选，用于分组对比） """ # 1. Spearman 相关：这里用预测分数与标签的秩相关 # 注意：对于二分类标签，Spearman 等价于区分良性/有害的能力 rho, _ = spearmanr(predictions["label"], predictions["score"]) # 2. AUC：衡量有害突变是否排在良性前面的概率 auc = roc_auc_score(predictions["label"], predictions["score"]) # 3. Top-K 命中率：假设我们只看排名前 10 的突变 k = 10 top_k = predictions.nlargest(k, "score") hit_rate = top_k["label"].mean() # 前 K 个里有害突变的比例 return { "spearman_rho": round(rho, 4), "auc": round(auc, 4), f"top{k}_hit_rate": round(hit_rate, 4) } # 使用示例 df = pd.read_csv("predictions.csv") print(evaluate_ranking(df))

这段代码的核心思路是：不同指标从不同角度评价排序质量。AUC 更关注整体区分度，Top-K 命中率更关注实际筛选效率。在 PG-LLM 这类基准中，多个指标结合才能避免单一指标带来的偏差。

4.5 批量对比多模型

当你需要一次性对比多个模型时，可以按“模型名”分组计算指标，然后汇总成一张对比表。

results = [] for model_name, group in df.groupby("model_name"): metrics = evaluate_ranking(group) metrics["model_name"] = model_name results.append(metrics) summary_df = pd.DataFrame(results) summary_df = summary_df.sort_values("auc", ascending=False) print(summary_df)

这种汇总表就是 PG-LLM 论文中那种“模型能力对比表”的最小实现。保持这个 pipeline，你可以在自己的数据上不断追加新模型，形成团队的私有评估基准。

5. 常见问题与排查思路：做蛋白突变排序评测时容易踩的坑

评测类任务的坑往往比模型训练还要隐蔽。以下是我在实践中见过的高频问题，整理成排查清单供大家参考。

5.1 模型输出不稳定，导致排序结果不可复现

问题现象	常见原因	解决思路
同一个突变多次运行，分数波动大	采样温度未设 0；或模型本身有随机性	设置 temperature=0，固定随机种子
模型输出非数值内容	Prompt 指令不够严格	要求 JSON 输出，用正则提取数字，增加重试逻辑
长蛋白序列输入被截断	超过模型的上下文窗口	策略：滑窗、抽取突变位点周围区域、或只送保守区域
排序结果和已发表论文不一致	实验设置不同（数据划分、Prompt、指标）	严格记录实验参数，必要时联系作者确认细节