NRI和IDI指标分析结果解读:预测模型改善效果评价
NRI和IDI指标分析结果解读
一、分析方法介绍
NRI(Net Reclassification Improvement,净重分类改善度)和IDI(Integrated Discrimination Improvement,综合判别改善度)是评估预测模型改善效果的两个重要指标,由Pencina等人于2008年提出。传统的模型评价指标如AUC(受试者工作特征曲线下面积)虽然广泛使用,但对于新增预测因子是否真正提高了模型的分类能力并不敏感。NRI和IDI的提出弥补了这一不足,能够更加精细地量化新模型相对于旧模型在风险重分类和判别能力上的改善程度。
NRI的核心思想是衡量新模型是否能够将阳性个体正确地向上调整风险、将阴性个体正确地向下调整风险,即计算“正确重分类”与“错误重分类”的净差额。NRI可以进一步分解为阳性NRI和阴性NRI,分别反映模型对阳性和阴性个体的重分类改善情况。IDI则从判别斜率的角度出发,计算新模型对阳性样本预测概率的平均提升值与对阴性样本预测概率的平均下降值之差。当NRI和IDI为正值且统计显著时,说明新模型的分类能力优于旧模型。本研究运用SPSSAU软件进行NRI和IDI分析,评估新增预测因子对模型分类能力的改善效果。
在SPSSAU【实验/医学研究】模块选择【NRI和IDI】,按提示选择变量,操作如下图:
二、结果分析
表1报告了NRI和IDI的核心结果。总体NRI值为-102.857%(z=-2.420,p=0.016),95%置信区间为-186.154%至-19.560%,不包含0,达到了统计学显著性水平。然而,NRI值为负值这一结果具有重要的实质意义:它表明新模型相比旧模型在风险重分类方面不但没有改善,反而出现了显著的退化。也就是说,加入新预测因子后,模型将个体向错误方向重分类的程度超过了向正确方向重分类的程度。
进一步分解来看,阳性NRI(金标准=阳性1)为-60.000%(z=-2.372,p=0.018),95%CI为-109.584%至-10.416%,达到统计显著性。这说明对于实际为阳性的个体,新模型反而倾向于将其风险向下调整(即低估了阳性个体的风险),这是一种不利的重分类方向。阴性NRI(金标准=阴性0)为-42.857%(z=-1.255,p=0.209),95%CI为-109.789%至24.074%,包含0,未达到统计显著性。虽然阴性NRI也为负值,但由于未达到显著性水平,不能确定新模型对阴性个体的重分类方向是否存在系统性偏差。
IDI值为-0.442(z=-2.192,p=0.028),95%CI为-0.837至-0.047,同样达到了统计显著性水平。IDI为负值进一步证实了NRI的发现:新模型在整体判别能力上不但没有提升,反而出现了显著下降。具体而言,新模型对阳性样本的平均预测概率不但没有提高,对阴性样本的平均预测概率也未能有效降低,导致整体判别斜率改善为负值。NRI和IDI两个指标得出了一致的结论,增强了结果的可信度。
表2拆解了NRI的中间计算过程,展示了新模型对阳性和阴性个体的重分类方向。在10个阳性个体中,新模型将其中2个正确地向上调整了风险(占20.00%),但同时有8个阳性个体被错误地向下调整了风险(占80.00%)。阳性个体的正确重分类率远低于错误重分类率,这是阳性NRI为负值的直接原因。
在7个阴性个体中,新模型将其中2个正确地向下调整了风险(占28.57%),但同时有5个阴性个体被错误地向上调整了风险(占71.43%)。阴性个体的错误重分类率同样远高于正确重分类率。综合来看,无论是阳性还是阴性个体,新模型的重分类方向均以错误方向为主,这解释了为何总体NRI呈现显著负值。需要指出的是,当前分析的样本量较小(阳性10例、阴性7例),结果的稳定性可能受到样本量的影响。
表3展示了IDI的中间计算过程。阳性时预测提高值为-0.247,说明新模型对阳性样本的平均预测概率不但没有提高,反而下降了0.247。理想情况下,新模型应当提高阳性样本的预测概率(该值应为正),但实际结果恰好相反。阴性时预测减少值为-0.195,说明新模型对阴性样本的平均预测概率不但没有降低,反而升高了0.195。理想情况下,新模型应当降低阴性样本的预测概率(该值也应为正),但实际结果同样与期望相反。
IDI的计算公式为:IDI = 阳性预测提高值 - 阴性预测减少值 = (-0.247) - (-0.195) = -0.442。两个组成部分均为负值,共同导致IDI呈现显著负值。这表明新模型既未能提高对阳性个体的识别能力,也未能提高对阴性个体的排除能力,整体判别能力出现了显著退化。
三、结论
本研究运用NRI和IDI指标评估了新增预测因子对模型分类能力的改善效果,主要结论如下:第一,总体NRI为-102.857%(p=0.016),达到统计显著性,但方向为负,说明新模型的风险重分类能力显著退化。第二,阳性NRI(-60.000%,p=0.018)显著为负,表明新模型对阳性个体的重分类方向以错误为主;阴性NRI(-42.857%,p=0.209)虽也为负值但未达统计显著性。第三,IDI为-0.442(p=0.028),进一步证实新模型的整体判别能力显著下降。第四,综合NRI和IDI的结果,新增预测因子不但未能改善模型的分类能力,反而导致了显著的退化,建议不采纳该预测因子。
