当前位置: 首页 > news >正文

AUC=0.61发JAMA子刊,如此“平庸”的区分度,何以赢得顶刊青睐?

源自风暴统计网:一键统计分析与绘图的网站

在机器学习与预测模型横行的今天,你是否也陷入了“AUC焦虑”?认为AUC不破0.8,文章难登顶刊?

今天,我们用一篇JAMA Network Open顶刊研究,为你破除迷思。它用AUC仅0.61的模型,成功讲了一个精彩的故事。核心密码不在于一味追求区分度,而在于精准拿捏临床价值、可解释性与实用性的三角平衡。

这项研究的目标清晰而艰巨:预测肺移植术后1年、5年、10年的死亡或再移植风险。这是一个经典的生存分析问题,长期预后受无数复杂因素影响,想做出高区分度的预测本就极难。传统模型要么是“黑箱”,要么预测能力有限。

研究团队没有选择追求极致AUC的复杂深度学习模型,而是采用了一套混合机器学习框架:

  • 首先,使用随机生存森林从61个候选变量中,筛选出对预后最重要的特征。这一步利用了机器学习处理高维数据、捕捉复杂关系的优势。

  • 然后,将筛选出的关键变量,放入经典的Cox比例风险回归模型中,构建出一个可解释的风险评分系统。这一步回归了临床医生最熟悉的HR风险比,让每个变量对风险的影响一目了然。

  • 最终,模型仅保留了9个核心变量:住院时长、受者年龄、单/双肺移植、术后呼吸机支持、心脏手术史、肌酐水平、功能状态、总胆红素、供者年龄。这确保了模型的简约性与临床可操作性。

模型在独立测试集上的整体区分度为综合AUC (iAUC) = 0.61, Harrell‘s C指数 = 0.64。在时间点区分度为1年AUC=0.61,5年AUC=0.59,10年AUC=0.72。

那么“平庸”的区分度,何以赢得顶刊青睐?

如果只看AUC,按照“经验法则”(>0.9优秀,0.8-0.9良好,0.7-0.8一般),这顶多算“一般”甚至“较差”。但审稿人和编辑为何买账?因为研究展示了比区分度更重要的三个维度:

1.校准度

校准度衡量的是预测的风险是否等于实际发生的风险。

本文的校准曲线在1、5、10年时都紧贴理想对角线,Brier分数极低。这意味着,虽然模型不能完美区分谁先谁后出事,但它对每个患者给出的具体风险概率是高度可信的。这对个体化临床决策至关重要。

2.临床实用性

决策曲线分析回答了用这个模型指导临床,到底划不划算的问题。

结果显示,在广泛的决策阈值范围内,使用该模型的风险评分来指导临床,其“净收益”始终高于“对所有患者一视同仁”或“不对任何患者干预”的策略。这直接证明了模型落地应用的潜在价值。

3.可解释性与易用性

可解释性上,透明评分让每个变量对应多少分,总分对应多少风险,一目了然。

易用性上,研究团队直接开发了一个交互式网络计算器。临床医生只需输入9个参数,即可实时计算患者的风险评分和生存概率。

这打破了从论文公式到临床应用的壁垒。

https://risk-calculator12.shinyapps.io/lung-transplant-risk/

总结

这项研究告诉我们,在复杂的、长期预后的临床预测问题上,区分度(AUC)并非唯一,有时甚至不是首要的评价标准。

对于预后咨询和个体化管理,一个校准良好、能给出可靠风险概率的模型,远比一个虽然能把高危人群排到前面、但概率严重失真的“黑箱”模型更有用。

一个仅用9个易获取临床变量、计算简单的透明模型,其临床采纳度远高于需要上百个特征、依赖复杂计算的黑盒AI。

研究的终点不应止于统计指标,而应通过决策曲线分析和工具开发,主动论证并铺平其改变临床实践的道路。

关于郑老师团队及公众号

郑老师团队统计服务,为医学生、医护工作者学术研究提供统计支持!

1.医院数据真实世界研究

影响因素分析与焦点因素分析策略;倾向性评分方法匹配、逆概率加权(IPTW)、重叠加权及后续效应值估计;亚组分析,交互作用P值及森林图;中介交互分析、因果中介分析;限制性立方样条、阈值效应分析、区段回归分析;

2.临床预测模型(二分类及生存)

基于回归方法的预测模型构建与验证,绘制列线图;机器学习预测模型构建与验证;可解释性SHAP绘图;缺失数据下的预测模型;预测模型在线网站建设;动态预测模型;影像组学预测模型

3.纵向数据分析

重复测量ANOVA、混合线性模型LMM、广义估计方程GEE、广义线性混合效应模型GLMM、潜增长曲线模型LGCM;群组轨迹模型(GBTM)/潜类别增长模型(LCGA)、潜类别混合增长模型(GMM/LGMM)、多轨迹模型(GBMTM);聚类分析;时依协变量模型;多状态模型;

4.高级因果推断方法实践

参数G方法、双重稳健估计进行因果推断:目标最大似然估计(TMLE);机器学习、超级机器学习进行因果推断;治疗效果异质性分析(HTE)与因果森林;

5.公共数据库数据挖掘

NHANES数据挖掘、CHARLS等老年库数据挖掘、MIMIC数据挖掘,多变量孟德尔随机化MR、中介MR、肠道菌群MR、药靶MR、网络药理学结合MR、单细胞RNA测序分析结合MR

需以上统计服务,请联系郑老师团队(微信:sas555777)

http://www.cnnetsun.cn/news/101046.html

相关文章:

  • jQuery EasyUI 布局 - 创建折叠面板
  • jQuery EasyUI 布局 - 动态添加标签页(Tabs)
  • 基于 YOLOv8 + DeepSORT + PyQt5 构建的 多目标车辆测速系统 多目标跟踪和车辆测速 (1)
  • 告别手动计算:安全区域适配效率提升300%
  • 33、Ubuntu服务器故障排查指南
  • 从零开始:解决brew命令不存在的完整指南
  • 详解!30+基于YOLO开源框架视频AI算法,覆盖低空经济无人机巡检、海康/大华摄像头,城市综合治理、智慧工地、森林巡检
  • MySQL变长字段的庖丁解牛
  • EmotiVoice能否生成客服安抚语音?共情语调设计
  • xxx is not in the sudoers file. This incident will be reported问题解决
  • 电商网站Nginx部署实战:高并发场景优化方案
  • h5嵌入鸿蒙跳转支付宝支付,报错:Syntax error:JSON Parse error:Expected ‘}‘
  • 传统VS现代:Docker容器启动效率对比实验
  • Vue小白必看:5分钟搞懂Vue2和Vue3的区别
  • AI如何帮你自动配置Spring Boot的spring.config.import
  • KKT条件在AI优化算法中的核心作用
  • 30秒创建路径工具类:AI代码生成实战
  • 5分钟打造Python版本检测机器人
  • 电商秒杀系统实战:Firebase实时数据库的高并发解决方案
  • Clangd vs 传统IDE:C++开发效率对比测试
  • 1小时打造GetWordSearch.exe原型:快速验证你的创意
  • Cursor在游戏开发中的实战应用案例
  • AI如何助力100%vendos实现自动化开发
  • Supervisord零基础入门:从安装到第一个守护进程
  • AI 如何帮助 Solidity 新手快速上手智能合约开发
  • 1小时打造PDF预览修复工具原型:快马平台体验
  • 企业级案例:某电商平台node-sass升级踩坑实录
  • 智能穿戴设备中的LDO电路设计实战
  • 用Packet Tracer快速验证网络架构设计的3种方法
  • 前端新手必学:object-fit的5分钟入门指南