多模态融合在死因推断中的应用：特征级与决策级融合策略对比

1. 项目概述：当AI遇见死因推断，多模态融合如何破局？

在公共卫生和流行病学领域，准确推断死因（Cause of Death, COD）是评估疾病负担、制定卫生政策的基础。然而，在资源有限的地区，获取高质量的医疗记录或进行尸检往往不现实。口头尸检（Verbal Autopsy, VA）——通过访谈死者家属或照料者来收集死亡前症状和事件——成为了一种关键的替代数据来源。传统的VA分析依赖于医生评审（Physician-Certified VA, PCVA）或统计模型（如InSilicoVA），但前者耗时耗力且存在主观性，后者则受限于结构化问卷的预设问题，可能遗漏关键细节。

近年来，随着机器学习（ML）和自然语言处理（NLP）的兴起，自动化COD分类模型展现出巨大潜力。特别是预训练语言模型（PLMs）如BioClinicalBERT，在解析非结构化的VA叙述文本上表现优异。然而，VA数据本质上是多模态的：它既包含结构化的“是/否”问卷（表格数据），也包含非结构化的自由文本叙述。这就引出了一个核心问题：如何将这两种信息形态——表格与文本——有效地结合起来，构建一个更强大、更鲁棒的自动化推断系统？

这正是多模态融合技术大显身手的舞台。简单来说，多模态融合就是教AI“兼听则明”，不让任何有价值的信息被浪费。在我们的死因推断任务中，结构化问卷像一份严谨的检查清单，确保基础症状不被遗漏；而自由文本叙述则像一份病情日记，蕴含着疾病发展的时间线、关键细节和语境信息，这些往往是标准化问题无法捕捉的。我们的研究核心，就是系统性地探索并比较了两种主流的融合策略——特征级融合与决策级融合——在提升COD分类精度上的效果。同时，我们深入剖析了一个常被忽视但至关重要的问题：数据本身的信息充分性。即使模型再先进，如果VA访谈获得的信息本身模糊、不完整或缺乏特异性，那么无论是医生还是AI，都难以做出准确判断。理解信息充分性，是评估VA工具效能的基石，也是指引未来数据收集和模型改进方向的关键。

本文将带你深入这个交叉领域的前沿。无论你是公共卫生领域的研究者，还是对多模态机器学习应用感兴趣的工程师，都能从中获得从理论到实践的全景视角。我们将拆解模型架构、分享调参心得、分析实验结果，并直面当前方法的局限与挑战。

2. 核心思路与方案选型：为什么是这两种融合策略？

面对文本和表格数据，多模态融合并非只有一条路。常见的策略大致可分为三类：数据级融合、特征级融合和决策级融合。我们的研究重点聚焦于后两者，这是基于任务特性、数据形态和实际可行性做出的综合考量。

2.1 数据级融合：简单直接，但存在天花板

数据级融合是最直观的方法，即在模型输入的最早期就将不同模态的数据合并。例如，将表格的每一列特征（如“是否发烧”、“是否咳嗽”）通过某种方式（如转换为描述性文本片段）与叙述文本直接拼接，形成一个超长的文本序列，然后送入一个能够处理长序列的预训练语言模型（如Longformer）进行端到端的学习。

为什么我们虽有尝试但未将其作为核心？在我们的实验中，数据级融合（使用Longformer）确实取得了不错的个体层面分类准确率（0.683）。它的优势在于设计简洁，能自然建模文本和表格特征在原始层面的交互。然而，其局限性也相当明显：

1. 扩展性差：这种方法难以推广到文本和表格之外的其他模态，如医学图像或音频。VA的未来发展很可能整合更多元的数据。
2. 对表格数据不友好：语言模型擅长处理富含语义的文本，但对于实验室结果（MITS数据）这类变量多、语义稀疏的表格数据，其强大的上下文嵌入能力可能“英雄无用武之地”，甚至因引入噪声而效果不佳。
3. 序列长度限制：尽管Longformer能处理更长序列，但其输入长度仍有上限。对于特别冗长的叙述文本，可能需要进行截断，导致信息丢失。
4. 类别不平衡挑战：与文本分类任务一样，数据级融合模型同样会受到数据中多数类主导的影响，需要专门针对文本数据的平衡技术。

因此，数据级融合更像一个高效的“特化解决方案”，适用于当前文本-表格任务，但未来扩展的灵活性不足。

2.2 特征级融合：轻量高效，平衡性能与成本

特征级融合在流程上稍晚一步。它先让不同的“专家”模型分别处理各自擅长的数据：用一个文本模型（如RoBERTa-PM）从叙述中提取深度语义嵌入向量，同时用另一个专门处理表格的模型（如FT-Transformer）从问卷中提取特征向量。然后，在模型的中间层，将这些来自不同模态的特征向量拼接起来，共同输入到一个多层感知机（MLP）中进行联合决策。

为什么选择特征级融合作为核心策略之一？我们采用了亚马逊开源的AutoGluon Multimodal (AutoMM) 框架来实现特征级融合，这背后有几层考量：

1. 灵活性：特征级融合的架构天生支持扩展。未来若要加入图像特征，只需新增一个图像编码器分支，将其输出的特征向量与文本、表格特征拼接即可。
2. 计算效率：相对于需要处理超长序列的PLMs，特征级融合通常更节省计算资源。模态特定的模型可以并行训练或使用预训练好的特征提取器。
3. 自动化与易用性：AutoMM作为一个AutoML工具，能自动搜索和优化各分支模型的超参数，大大降低了非专业研究者的使用门槛。这对于推动该技术在更广泛的公共卫生实践中落地具有重要意义。
4. 性能权衡：在我们的结果中，特征级融合模型取得了0.646的准确率。虽然略低于最优的决策级融合，但与顶级单模态模型持平，且显著优于传统统计模型。在资源受限的场景下，它是一个非常好的“性价比”选择。

注意：尽管AutoMM号称“自动”，但我们的实践经验表明，为了达到最优性能，仍然需要对基础模型（如选择BioClinicalBERT还是RoBERTa-PM作为文本主干网络）进行有依据的定制，并对关键的训练超参数（如学习率、批次大小）进行手动调优。完全依赖默认配置可能无法发挥数据集的全部潜力。

2.3 决策级融合：集百家之长，追求极致性能

决策级融合，也称为集成学习，走的是“委员会决策”的路线。它不在特征层面进行混合，而是让多个独立的模型（基模型）分别对同一任务做出预测，然后通过某种策略（如投票或 stacking）将这些预测结果汇总，形成最终决策。

为什么决策级融合是我们的另一个核心？我们系统评估了两种决策级融合策略：软投票集成和堆叠集成。

1. 软投票集成：这是最简单的方法。我们训练了多个独立的模型，包括5个基于叙述的PLMs（如BioClinicalBERT, BlueBERT）和5个基于问卷的ML模型（如LightGBM, XGBoost），外加传统的InSilicoVA模型。每个模型对测试样本输出一个关于各个死因的概率分布。软投票即对所有模型的预测概率取平均值，选择平均概率最高的类别作为最终死因。
2. 堆叠集成：这是一种更精巧的“元学习”方法。我们采用了改进的Super Learner框架。首先，通过5折分层交叉验证，为每个基模型生成样本外预测概率。这些概率构成了一个新的特征矩阵（元特征）。然后，我们在这个元特征矩阵上训练一个“元学习器”（如KNN、逻辑回归），让它学习如何最优地组合基模型的预测。在推理时，基模型先在完整训练集上训练，并对测试集做预测，然后将这些预测输入训练好的元学习器得到最终结果。

决策级融合的优势与挑战：

• 优势：它获得了本研究中最高的个体分类准确率（软投票：0.695）。其最大优势在于灵活性和模型异构性。我们可以集成架构迥异的模型，包括深度学习模型、梯度提升树和传统统计模型。这种多样性有助于减少单一模型类型的偏差，提升整体泛化能力。
• 挑战：这是计算成本最高的策略，尤其是堆叠集成，需要进行多轮交叉验证来生成元特征。同时，它要求每个基模型都经过良好的校准和调优，否则较差的基模型会拖累整体性能。此外，如何选择最优的元学习器也是一个需要探索的超参数。

我们的实验表明，融合多模态模型（即同时包含文本模型和表格模型）的集成，其效果优于只融合单一模态内部的模型。这强有力地证明了文本和表格信息具有互补性。

3. 实操详解：从数据到模型的全链路实现

理解了核心思路后，我们来看看如何一步步将其实现。本节将结合我们的研究实践，提供可复现的实操要点和代码片段。

3.1 数据准备与预处理

数据是模型的基石。我们使用的SANCOD数据集包含成对的VA叙述文本和结构化问卷答案。

1. 文本数据预处理：
   • 对于基于Transformer的PLMs（特征级、数据级融合），我们通常进行最小化清洗：转换为小写、去除特殊字符。分词和子词划分由模型自身的tokenizer完成。
   • 对于传统NLP特征提取（用于信息充分性分析），流程更复杂：包括小写转换、去除标点和停用词、词形还原等，然后使用TF-IDF结合n-gram（如uni-gram, bi-gram）进行向量化。

   # 示例：使用scikit-learn进行传统文本特征提取 from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD import pandas as pd # 假设 narratives 是文本列表 vectorizer = TfidfVectorizer(lowercase=True, max_features=5000, ngram_range=(1,2)) X_tfidf = vectorizer.fit_transform(narratives) # 降维以减少特征维度并缓解稀疏性 svd = TruncatedSVD(n_components=450, random_state=42) X_text_features = svd.fit_transform(X_tfidf) text_feature_df = pd.DataFrame(X_text_features, columns=[f'tfidf_{i}' for i in range(450)])

2. 表格数据预处理：
   • 问卷数据通常是分类变量（是/否/未知）。我们将其转换为数值型（如0/1），并对有序分类变量进行标签编码或独热编码，具体取决于所用模型的要求。
   • 对于基于树的模型（LightGBM, XGBoost），通常不需要复杂的标准化；但对于神经网络，建议进行标准化或归一化。
3. 数据划分：
   • 关键点：死因分布极不均衡。必须使用分层抽样来划分训练集、验证集和测试集，确保每个集合中各类死因的比例与整体数据集保持一致。这是获得可靠评估结果的前提。

   from sklearn.model_selection import train_test_split # X_features: 融合后的特征或原始数据， y: 死因标签 X_train, X_temp, y_train, y_temp = train_test_split(X_features, y, test_size=0.3, stratify=y, random_state=42) X_val, X_test, y_val, y_test = train_test_split(X_temp, y_temp, test_size=0.5, stratify=y_temp, random_state=42)

3.2 模型训练与超参数优化

不同的融合策略对应不同的训练流程。

对于特征级融合（以AutoMM为例）：AutoMM封装了大部分复杂性。你需要定义好文本和表格数据的路径及列名，并指定预测任务类型（多分类）。

from autogluon.multimodal import MultiModalPredictor import pandas as pd # 假设 df 是一个DataFrame，包含‘narrative’（文本列）和其他问卷列 label_column = 'cause_of_death' predictor = MultiModalPredictor(label=label_column, problem_type="multiclass") predictor.fit( train_data=df_train, hyperparameters={ "model.names": ["hf_text", "ft_transformer"], # 指定文本和表格模型类型 "model.hf_text.checkpoint_name": "emilyalsentzer/Bio_ClinicalBERT", # 定制文本主干 "env.num_gpus": 1, }, time_limit=3600, # 训练时间限制 )

实操心得：AutoMM的自动超参优化主要针对其内部集成的模型。如果你像我们一样想自定义文本主干网络（例如换成RoBERTa-PM），需要在hyperparameters中明确指定checkpoint_name。同时，监控训练日志，关注验证集指标，必要时可以手动调整学习率等基础超参。

对于决策级融合（以软投票集成为例）：

1. 训练多样化的基模型：
   • 文本模型：使用transformers库微调多个PLMs。超参数设置可参考我们优化后的结果（见表4.3），例如使用Longformer时，学习率设为3.76e-5，训练7个epoch。
   • 表格模型：使用Optuna、Hyperopt等工具对LightGBM、CatBoost等模型进行超参数搜索。我们为每个模型定义了详细的搜索空间（见表4.4），例如LightGBM的learning_rate在[0.01, 0.2]区间内对数均匀搜索。
2. 生成预测概率：在每个基模型训练完成后，在测试集上运行预测，得到每个样本属于各个死因的概率矩阵。
3. 执行软投票：

   import numpy as np # 假设 prob_list 是一个列表，包含所有基模型在测试集上的预测概率矩阵 [n_samples, n_classes] prob_array = np.stack(prob_list, axis=0) # 形状：[n_models, n_samples, n_classes] avg_prob = np.mean(prob_array, axis=0) # 对模型维度取平均 final_predictions = np.argmax(avg_prob, axis=1) # 取平均概率最高的类别

对于堆叠集成： 流程更为复杂，核心在于生成样本外预测来训练元学习器，避免数据泄露。

from sklearn.model_selection import StratifiedKFold from sklearn.linear_model import LogisticRegression import numpy as np def train_stacking(base_models, X_train, y_train, X_test, meta_model=LogisticRegression()): n_folds = 5 skf = StratifiedKFold(n_splits=n_folds, shuffle=True, random_state=42) n_classes = len(np.unique(y_train)) # 步骤1: 生成训练集的OOF预测 oof_preds = np.zeros((len(X_train), len(base_models) * n_classes)) for i, model in enumerate(base_models): fold_oof = np.zeros((len(X_train), n_classes)) for train_idx, val_idx in skf.split(X_train, y_train): X_tr, X_val = X_train[train_idx], X_train[val_idx] y_tr = y_train[train_idx] # 训练基模型 (此处需根据模型类型适配fit/predict接口) model.fit(X_tr, y_tr) fold_oof[val_idx] = model.predict_proba(X_val) oof_preds[:, i*n_classes:(i+1)*n_classes] = fold_oof # 步骤2: 训练元学习器 meta_model.fit(oof_preds, y_train) # 步骤3: 生成测试集预测 test_preds = np.zeros((len(X_test), len(base_models) * n_classes)) for i, model in enumerate(base_models): # 在完整训练集上重新训练基模型 model.fit(X_train, y_train) test_preds[:, i*n_classes:(i+1)*n_classes] = model.predict_proba(X_test) # 步骤4: 元学习器做出最终预测 final_preds = meta_model.predict(test_preds) return final_preds

重要提示：堆叠集成的成功高度依赖于基模型的多样性。如果所有基模型都犯同样的错误，元学习器也无法纠正。因此，我们有意选择了BERT系PLM、梯度提升树、神经网络等不同架构的模型。

3.3 模型评估与结果分析

我们采用多层次评估体系，以全面反映模型性能：

1. 个体层面指标：关注单个死亡案例的死因是否被正确分类。
   • 准确率：最直观的指标。
   • 加权F1分数、精确率、召回率：考虑到死因类别极不均衡，加权指标比宏平均更能反映模型在多数类上的表现，也更符合实际公共卫生关注点。
2. 群体层面指标：关注整个群体中各类死因比例（死因别死亡率，CSMF）的估计准确性。
   • CSMF准确率：1 - 0.5 * Σ|真实CSMF - 预测CSMF|。衡量CSMF向量的总体误差。
   • CCCSMF准确率：将死因合并到更宽泛的类别（如传染病、非传染病）后计算的CSMF准确率，评估在更高层级上的估计能力。

我们的核心发现：

• 多模态融合的有效性：无论是决策级融合（软投票准确率0.695）还是数据级融合（0.683），都显著超越了最好的单模态模型（问卷最佳LightGBM: 0.665，叙述最佳BioClinicalBERT: 0.646）。这证实了信息互补的价值。
• 信息类型的互补：文本叙述显著提升了模型对非传染性疾病（如肿瘤、糖尿病、肝硬化）的分类能力。这可能是因为这些疾病的诊断更依赖于复杂的病史描述和症状演进模式，而这些信息在标准化的“是/否”问卷中难以充分捕捉。
• 集成策略的差异：软投票在个体准确率上略胜一筹，而使用KNN作为元学习器的堆叠集成则在群体层面的CSMF准确率上表现最佳（0.950）。这表明不同的融合策略可能优化了不同层面的目标。

4. 深入核心：信息充分性——被忽视的模型性能天花板

在追求更复杂模型的同时，我们意识到一个根本性问题：如果数据本身提供的信息不足以确定死因，那么再先进的模型也无能为力。因此，我们转向对数据本身“信息充分性”的研究。

4.1 什么是信息充分性？

在我们的研究中，信息充分性并非指叙述文本的字数或报告的症状数量。如图5.2所示，高充分性和低充分性案例在文本长度和症状数量上分布重叠。真正的充分性，指的是信息中是否包含了对鉴别诊断最有价值的细节和模式。这可以是：

• 指向性或排除性特征：例如，“剧烈头痛伴颈部僵硬”强烈提示脑膜炎。
• 症状组合与演进模式：一系列症状出现的时序和关联性。

案例对比：

• 高充分性案例：“死亡前两周，死者出现严重头痛和颈部僵硬。被送往医院，诊断为脑膜炎，住院一周后死亡。”——尽管简短，但包含了关键症状、时间线和临床诊断，信息充分。
• 低充分性案例：“死者有结核病、高血压和哮喘病史多年。多次住院，死前出现腹胀、脚肿、发黑、呼吸困难、严重咳嗽、胸痛和呕吐。”——虽然症状列表很长，但描述模糊、非特异，多种感染性疾病都可能出现类似症状，且缺乏清晰的因果链和时间线，信息不充分。

4.2 量化与预测信息充分性

我们邀请医生在评审VA时，对其信息充分性进行1-5分的主观评分。我们将此作为目标变量，尝试用模型来预测。

方法：我们再次采用特征级融合策略，但这次使用更易解释的传统NLP特征（TF-IDF + SVD降维）与问卷特征结合，输入AutoGluon表格预测器进行三分类（高、中、低充分性）。

结果与洞察：

1. 预测性能：多模态模型预测充分性水平的准确率为44.5%。其中，问卷特征的贡献度占85.5%，远高于叙述文本特征（14.5%）。这表明，在当前VA设计中，结构化问题在决定信息充分性方面扮演了更主导的角色。
2. 关键特征：
   • 问卷侧（SHAP值最高）：指向特定事件（如道路交通事故、怀孕）或特征性症状（如咳痰、咳血）的问题，以及确认既往诊断（如HIV/AIDS、结核病）的问题，对判断信息充分性最为重要。例如，“是否在交通事故中受伤？”（i079o）这类问题能提供明确、具体的诊断线索。
   • 叙述侧：最重要的TF-IDF成分与“高血压、糖尿病”、“HIV、结核”等明确的疾病实体关键词相关。这暗示，当叙述中清晰提及已被诊断的疾病名称时，医生会认为信息更充分。
3. 充分性与分类性能强相关：如图5.3和5.4所示，无论是AI模型还是医生，其分类准确率都随着信息充分性评分的升高而呈现明显的梯度上升。对于被医生评为信息“极不充分”的案例，即使结合了医疗记录，仍有大量死因被归类为“不确定”。这强烈表明，信息缺口是导致分类困难的根本原因之一，而非仅仅是模型能力不足。

4.3 对实践的意义与启示

1. VA不应是孤立的工具：研究结果支持将VA整合到一个自适应的、活的诊断系统中。对于模型预测置信度低、或由算法/医生标记为信息可能不充分的案例（尤其是特定死因，如老年人肺炎、腹泻），应自动触发警报，并转介进行更深入的调查，如微创组织取样（MITS）或尸检。
2. 改进数据收集协议：针对信息不充分的常见领域（如老年人死亡、特定传染病），需要优化访谈问题或培训访谈员进行更深入的探查。例如，增加关于症状出现时序、严重程度变化、治疗反应等开放式追问。
3. 模型设计的启示：既然信息充分性显著影响性能，未来的自动化COD分类模型可以增加一个“充分性评估”模块。对于被该模块判定为“信息不足”的案例，模型可以主动输出“不确定”或给出一个涵盖多种可能性的概率分布，而不是强行做出一个可能错误的单一预测，从而提高系统的可信度和安全性。

5. 避坑指南与未来方向

基于这项研究的实战经验，我总结出以下几点关键注意事项和未来值得探索的方向。

5.1 实操中的常见陷阱与解决方案

1. 类别不平衡问题：死因数据极度不均衡，多数模型会偏向于多数类（如HIV/AIDS）。
   • 尝试过的方案：在损失函数中使用类别权重、对少数类进行过采样（如SMOTE）、对多数类进行欠采样。
   • 我们的体会：对于文本数据，简单的过采样可能导致严重的过拟合，因为生成的合成文本样本可能缺乏语义合理性。更有效的方法是在特征级或决策级融合框架内，对不同的数据模态采用不同的平衡策略。例如，对表格数据使用SMOTE，而对文本数据采用基于嵌入的过采样或代价敏感学习。目前尚无银弹，需要针对具体任务进行实验。
2. 超参数调优的复杂性：集成学习涉及大量基模型，每个都有众多超参数。
   • 建议：采用分层优化策略。首先，使用贝叶斯优化（如Optuna）或网格搜索，为每个基模型找到一组表现良好的超参数。然后，在固定基模型的情况下，再对集成策略本身的参数（如投票权重、元学习器选择）进行调优。合理设置搜索空间和提前停止策略以控制计算成本。
3. 计算资源管理：训练多个大型PLMs和集成模型非常消耗GPU和内存。
   • 策略：
     • 利用预训练模型，进行轻量级的微调，而非从头训练。
     • 使用混合精度训练以加速并减少显存占用。
     • 对于不活跃的实验阶段，可以考虑将模型预测概率缓存到磁盘，避免重复推理。
     • 考虑使用模型蒸馏技术，将集成模型的知识压缩到一个更小的模型中，以便部署。
4. 结果的可解释性挑战：尤其是深度学习模型，常被视为“黑箱”。
   • 应对：除了使用SHAP、LIME等事后解释工具，在特征级融合中，可以有意使用部分可解释的特征（如TF-IDF）。在决策级融合中，可以分析不同基模型对最终预测的贡献度，这本身也是一种模型行为的洞察。

5.2 本研究的局限性与未来展望

1. 模型异构性不足：我们集成的模型虽然来自不同家族，但同质性仍然较高（PLMs多是BERT变体，ML模型多是梯度提升树）。未来可以引入更多样化的架构，如基于Transformer的表格模型（TabTransformer）、图神经网络（如果能把症状关系建模成图），甚至基于VA音频记录的模型，以获取更丰富的视角。
2. 缺乏不确定性量化：当前模型只输出点估计（最可能的死因及其概率），没有提供预测的不确定性区间。在公共卫生决策中，了解估计的置信度至关重要。未来可以探索贝叶斯神经网络、蒙特卡洛Dropout或集成模型本身产生的预测方差来量化不确定性。
3. 跨场景泛化能力：本研究基于单一数据集（SANCOD）。VA叙述的质量受文化、访谈员影响极大。模型在不同地区、不同访谈协议下的表现如何，需要进一步的跨域验证研究。
4. 信息充分性建模的深化：当前预测充分性的准确率不高，部分因为这是一个高度主观、边界模糊的任务。未来工作可以结合定性研究（如对医生进行深入访谈），提炼出更客观、可操作的充分性评估标准，甚至构建一个细粒度的“信息缺失”标签体系（如“缺少时间线”、“缺少关键体征”），从而为模型提供更清晰的学习目标。
5. 处理模态缺失：在实际应用中，可能只有文本或只有表格数据可用。需要开发更灵活的融合架构，例如能够处理模态缺失情况的多模态模型，或研究如何利用一种模态的数据来生成另一种模态的增强特征。

最后，我想强调的是，这项研究揭示了一个比模型算法更根本的挑战：数据质量的边界就是模型性能的天花板。在资源有限的环境下，开发更聪明的AI模型固然重要，但同等重要的是设计更有效的数据收集工具、培训更专业的访谈员，并建立将VA与更确切的诊断方法（如MITS）联系起来的综合系统。技术与工具的创新，必须与实地工作流程的改进紧密结合，才能真正提升死因推断的准确性，从而照亮全球卫生决策的道路。