从“数据公开”到“真正可用”:14项检查标准助力医学影像AI研究可重复性
研究背景
随着人工智能在医学影像领域的发展,公开数据集已成为模型开发、算法比较和独立验证的重要基础。然而,数据集宣称“公开可用”,并不意味着研究者能够真正获取和使用。下载链接失效、文件格式不兼容、受试者标识缺失或训练测试划分不清,都会降低研究的可重复性。
现有CLAIM、TRIPOD+AI等指南更多关注研究方法与结果报告。针对医学影像数据集本身的透明度与实际可用性,Bose、Gupta等研究者联合北美放射学会RSNA的国际专家组共同提出了TRAM-AI(Transparency in Reporting of Medical Imaging Datasets for Artificial Intelligence)框架,旨在将“数据已公开”进一步转化为可量化、可核查的标准化评价体系。来自四川大学华西医院生物医学大数据研究院的Zekun Jiang作为中国内地唯一参与该框架制定的专家,对该国际医学影像AI数据报告规范的发起和发布贡献了一份力量。
研究方法:TRAM-AI框架的构建
研究采用改良德尔菲法,先根据2015—2025年的相关文献与政策梳理22份核心材料,提出16项候选条目;33名国际专家完成首轮评估、31名完成第二轮,从重要性和可行性两方面评价各项要求;随后由两名研究者将清单应用于10个公开数据集,并邀请4名拉丁美洲及撒哈拉以南非洲顾问评估跨区域适用性。最终删除“自动访问”条目,将“预处理溯源”并入标准格式条目,形成四大维度14项标准。
专家组构成与代表性
研究共邀请63名专家,其中33名完成首轮调查(应答率52.4%),31名继续完成第二轮(留存率94%)。参与者涵盖临床医学21人(64%)、计算机科学与AI工程17人(52%)、期刊编辑及同行评审13人(39%)、数据管理与信息学10人(30%)。上述专业领域允许多选,因而人数合计超过33人。
从研究经验看,4人(12%)具有不足5年的医学AI相关经验,21人(64%)具有5—10年经验,8人(24%)具有10年以上经验。地域分布为北美17人(52%)、欧洲9人(27%)、亚太6人(18%)及拉丁美洲1人(3%),非洲无人完成首轮调查。研究另邀请拉丁美洲和撒哈拉以南非洲各2名顾问参与跨区域评估,但这4人不属于最初的33名德尔菲专家。
这一构成体现了临床、技术、数据治理和期刊评价等多方参与,但北美与欧洲专家占79%,也提示该共识在全球不同卫生数据治理环境中的代表性仍有局限。
TRAM-AI:四个维度、14项标准
A数据访问与持久性(3项)
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
B技术互操作性(4项)
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
C元数据与可重复性(4项)
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
D伦理、法律与维护(3项)
|
|
|
|
|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
框架遵循FAIR原则,即数据应可发现、可访问、可互操作、可重用。其关注点并非模型性能,而是公开数据是否可以被独立研究者获取、理解和复现使用。
研究结果:10个数据集的测评
研究在10个2020—2026年发表的数据集上开展试点验证,覆盖结肠镜、CT、X线、MRI、共聚焦荧光显微及同步运动学等类型,其中6篇为专门的数据集论文、4篇为常规研究论文。以下汇总原论文Table 4中的样本与满足条目数量,并非对数据集医学价值或算法性能的排名。
|
|
|
|
|
|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
可信数据仓库、受试者级映射、数据字典和去标识化的符合率均为90%;而跨操作系统压缩包验证仅为10%,训练/验证/测试划分名单为30%,文件完整性哈希校验为60%。专门的数据集论文平均满足12.3/14项(88%),常规研究论文平均5.2/14项(38%)。
两名研究者对140个“数据集×条目”组合的评价一致性很高(Cohen’s κ=0.95);4名跨区域顾问均认可清单总体适用性,但其中2名提出保留意见。由于试点规模较小,以上差异应理解为初步观察,而非整个医学影像AI领域的普遍符合率。
总结与展望
TRAM-AI通过国际专家共识建立了涵盖四大维度、14项标准的医学影像AI数据集透明度报告框架,将数据共享评价从“是否公开”进一步推进到“是否真正可用”。它并不取代CLAIM或TRIPOD+AI等研究报告指南,而是补充数据访问、技术互操作及可重复性方面的具体要求。对于数据发布者,它提供了规范发布数据的自查依据;对于算法研究者,有助于识别数据泄漏与实验复现障碍;对于期刊编辑和审稿人,则提供了更加具体的数据共享审查参考。
需要指出的是,该框架仍处于初步验证阶段,专家地域分布不均,试点仅纳入10个数据集,且评估者参与了框架制定。未来还需开展更大规模、跨地区、跨影像模态的独立验证,并探索DOI、文件哈希与许可信息等项目的自动化检查。医学影像AI的数据共享不应止于提供下载链接,更应确保数据能够被准确理解、规范使用和独立验证。
四川大学华西医院生物医学大数据研究院介绍
四川大学华西生物医学大数据研究院汇集了华西口腔医学院、临床医学院、药学院、公共卫生学院以及基础医学与法医学院的医学多学科优势、临床专科能力,凭借华西医学基础研究和四家附属医院的优质海量数据资源,在全生命周期健康促进理念下,围绕健康管理、临床医疗、慢病管理、健康养老四个阶段,集合四川大学理工科学院优质的专家与技术资源,以学科交叉的创新途径开展研究。争取在医学基础与理论、预防、诊疗与康复服务等方面实现“体系创新、技术创新、模式创新和管理创新”,推动川大华西医学整体率先进入世界一流。落实响应国家健康战略,在新发展理念的指引下,坚持“创新、开放、协同、共赢”原则,与校外企事业单位及科研院所一起,共同研究与转化研究,为实现健康中国战略、构建人类健康命运共同体贡献川大力量。承担四川大学双一流超前部署“医学大数据”学科和四川大学“医学+信息”中心建设任务”、四川省发展和改革委员会“疾病流行病学大数据研究平台”。参与疾病分子网络前沿科学中心等国家级项目和平台建设。中心目前已建成硬件平台拥有PB级存储的高性能计算平台,可支持多方向的医学大数据与人工智能科研工作。
李康教授团队介绍
李康教授,四川大学华西医院生物医学大数据研究院研究员,博士生导师,四川大学奥克兰学院科研副院长,中国生物医学工程学会科普工作委员会副主任委员。主要从事医学人工智能、医疗机器人、生物力学、人机交互等领域的研究。牵头成立华西医院-商汤科技联合实验室和“岷山计划”华西医疗机器人研究院,旨在促进机器人、人工智能和医疗领域的科技创新和技术升级。曾担任美国知名大学医学院副教授,计算机系和生物医学工程系博士生导师,主持/联合主持国内外项目30余项,在国际重要刊物和国际权威会议上发表论文300余篇。
审核 | 医工学人理事会








