学术报告 | 3D深度学习在医疗健康领域的应用与研究

发布时间 :[  2024-06-13  ]                字体大小 : [  大   中   小   ]

学术报告 | 3D深度学习在医疗健康领域的应用与研究

南大健康医疗大数据国家研究院 2024-01-09 16:34 

近日,南京大学健康医疗大数据国家研究院邀请来自瑞士洛桑联邦理工学院(Swiss Federal Institute of Technology Lausanne, EPFL) 的杨健程博士,报告了他在3D深度学习方面的最新研究进展,介绍了人工智能在医药研究中的应用与价值,以及3D深度网络在医学图像处理中的应用。同时分享如何利用3D预训练、医学图像建模与自动修复、多模态融合等技术,提高医学数据的分析与利用效率。

杨健程博士分享3D深度学习方法的最新研究成果


杨健程博士以“3D Deep Learning for Real-World Health Intelligence”为题分享最新的工作进展,会议由健康医疗大数据国家研究院的常务副院长高阳教授和健康医疗大数据国家研究院的医疗人工智能平台负责人史颖欢教授主持。


健康医疗大数据国家研究院常务副院长 高阳教授

健康医疗大数据国家研究院医疗人工智能平台负责人 史颖欢教授


杨博士目前任职于瑞士洛桑联邦理工学院,他的主要研究内容是人工智能在健康、医学图像分析和3D视觉方面的应用。他在上海交通大学获得博士学位,并曾担任哈佛大学VCG和EPFL CVLab的客座研究员,在Cancer Research、eBioMedicine、CVPR、MICCAI、NeurIPS等顶级期刊和会议上发表论文50余篇,谷歌学术引用2000余次。杨博士担任过20多个top-tier venues的评审员,组织了两次MICCAI挑战赛,曾获得多项奖项,包括“世界人工智能大会(WAIC)云帆奖”和“福布斯30位30岁以下精英榜”。



杨健程博士


杨博士详细介绍了针对医学成像的3D原生算法的开发及其实际应用。首先,讨论了3D CNN(卷积神经网络)的增强技术,解决医学影像上与体素(立体像素)相关的独特挑战。其次,探索尖端的3D深度学习技术,包括点云感知和隐式场建模,强调它们在医学成像中的显著成效。最后,阐述AI如何落地到现实世界的诊疗中,重点关注AI与肺、肋骨和心脏相关临床诊断和应用。此外,杨博士还就以下几个方面进行了详细地分享:


AI在医药研究中的应用与价值:介绍AI在药物发现、疾病诊断、治疗方案等方面的应用,以及AI如何提高医药研究的效率和质量。

医疗AI与3D数据的处理与应用:讲述医疗领域中3D数据的特点和挑战,以及如何利用3D神经网络和3D预训练技术来处理和分析3D数据,提高AI对医学图像的识别和理解能力。

医学图像建模与自动修复技术研究:分享3D图像重建的研究成果,包括如何利用3D生成对抗网络和3D变分自编码器来建模和重建医学图像,以及如何利用3D自动编码器和3D卷积核来修复医学图像中的缺失和噪声。

AI在医疗领域的应用与挑战:总结AI在医疗领域的贡献以及所面临的挑战,例如数据质量、隐私保护、可解释性、伦理道德等,以及如何解决这些问题的方法和方向。

人工智能在健康领域的分级诊疗和精准医学

分级诊疗:利用现有顶级医院的医生在日常疾病诊疗过程中积累的经验,如常规的肿瘤筛查,器官分割和病灶筛查中积累的技术和诊疗方案凝结在AI之中进而赋能给基层医生,使AI能够更好地辅助基层医疗诊疗患者。


精准医学:由于医生在先前的临床实验中或者在先前的训练过程中未能够完整筛查患者其他模态的信息,致使患者的其他医学影像存在模态缺失,利用AI跨模态的学习患者手术前后所积累的各项信息,在模态缺失的情况下可以利用AI去预测其他模态信息,从而辅助医生做出精准判断。

3D深度学习在健康领域的研究概述
3D医学图像的体素数据通常是密集且巨大的,比如CT图像的像素空间范围是300 x 500 x 500,换算成2D图像接近8661 x 8661像素,庞大的图像数据不利于AI进行端到端的学习,此外,体素数据在三个维度上的距离存在差异,图像的标注存在噪声且不同中心对同一类别所标注的信息也存在差异,针对这些问题,杨博士利用点云感知以及隐式场建模等方法重建医学影像,并更好地延伸到下游任务上。

MedMNIST医学小数据集库


除了对于先进技术的研究,杨博士还分享了他和团队收集的大规模标准化生物医学图像集合MedMNIST。MedMNIST包括12个2D数据集和6个3D数据集,涵盖生物医学图像中的主要数据模式,旨在对具有各种数据规模(从100到100,000)和不同任务(二元/多类、序数回归和多标签)的轻量级2D和3D图像进行分类,可以支持生物医学图像分析、计算机视觉和机器学习方面的众多研究。





MedMNIST:https://medmnist.com/ 
Jiancheng Yang:https://jiancheng-yang.com/ 
Jiancheng Yang 杨健程

Bio:
Jiancheng Yang is a researcher at Swiss Federal Institute of Technology Lausanne (EPFL), who works with Prof. Pascal Fua on AI for health, medical image analysis and 3D vision. He did his PhD at Shanghai Jiao Tong University and was a visiting research fellow in the VCG at Harvard University and the CVLab at EPFL.
Jiancheng has published 50+ papers in leading journals and conferences such as Cancer Research, eBioMedicine, CVPR, MICCAI, and NeurIPS, with 2,000+ citations on Google Scholar. He regularly serves as a reviewer for 20+ top-tier venues. He has also achieved top rankings in various AI competitions, and organized two MICCAI challenges. He has been recognized with awards, including YunFan Award at the World Artificial Intelligence Conference (WAIC) and Forbes 30 Under 30.
Talk title:
3D Deep Learning for Real-World Health Intelligence
Talk abstract:
Medical 3D data, primarily derived from CT and MRI scans, is a first-class citizen in healthcare that has greatly benefited from recent advancements in AI. This talk delves into the development of 3D-native algorithms for medical imaging and their real-world applications. We begin by discussing the enhancement of 3D CNNs - the de facto standard in medical imaging - addressing the unique challenges tied to voxels. Moving beyond voxels, we explore cutting-edge 3D deep learning techniques, including point clouds and implicit fields, underscoring their notable outcomes in medical imaging. We conclude with real-world examples, focusing on applications related to the lung, rib, and heart.




分享到:
【返回顶部】 【打印本页】 【关闭窗口】