近日,四川大学华西医院联合深睿医疗共同开发的一种多模态集成(multimodal integration,mmi)算法,在肺部感染的精确诊断方向取得重大突破,相关成果被国际知名期刊《the innovation》(影响因子33.2)收录。为了更好地应对肺部感染的诊断和预后预测,四川大学华西医院与深睿医疗共同开发的多模态集成算法(mmi),旨在通过融合临床特征、ct图像和实验室检验结果等多模态数据特征实现协同诊断,从而能够进行更精确的诊断和个性化临床管理。同时,相对于目前大多数集中于单一致病病原体的ai辅助诊断研究,mmi显著提升医生在处理多病原感染时的综合诊断准确性,在临床可发挥更大的应用价值。
肺部感染是全球临床领域面临的重大挑战,是全球范围内导致死亡的主要原因之一,尤其在当前全球健康挑战日益严峻的背景下,其高发病率和重症高死亡率使得早期诊断和干预变得尤为关键。现有的大多数研究主要集中于单一致病病原体的诊断,而临床实践中肺部感染通常由多种病原体引起的,当前多数研究仅可用来预测单一致病病原体,从而严重制约了现有肺炎诊断算法的临床可用性。人工智能(ai)在挖掘特定病原体的影像特征并融合多模态特征以实现协同诊断方面具有巨大潜力,因此研究一种能够处理多病原感染的综合诊断方法,进行更精确的诊断和个性化临床管理,可以更好地面对临床诊断挑战,在疾病的全周期管理上发挥更积极的作用。
本研究创新性开发了多模态融合(multimodal integration,mmi)系统,利用临床文本、影像图像、检验指标等多维度信息,实现肺部感染性疾病及病原类型精准预测,及时对危重症进行预警干预。该系统利用先进的人工智能技术,包括bert自然语言处理模型和swin-transformer图像处理架构,设计了基于跨模态注意力模块整合临床文本、实验室检验结果和ct图像特征,进行肺部感染的诊断和预测。
研究结果表明,基于24,107名患者的真实世界数据集,mmi系统在区分细菌性肺炎、真菌性肺炎、病毒性肺炎和肺结核等多种肺部感染类型方面表现出色,其性能与经验丰富的资深医生相当。同时,mmi系统还能够快速精准地区分病毒亚型以及细菌亚型,具有指导个体化用药建议的潜力,降低抗生素误用的风险。相对于文本或影像单模态诊断模型,mmi多模态集成系统在内部测试集、外部测试集与验证集上都表现卓越,大幅提升诊断的精准度。进一步,mmi系统能够预测病情进展至重症的风险,从而促进早期干预,合理分配医疗资源。mmi系统综合多模态特征,在临床决策中展示了显著的优势,提升了诊断和管理肺部感染的整体能力。随着多模态ai工具在临床上的深入使用,未来可进一步推动早期干预和精准管理,提高肺部感染患者的预后,促进疾病全周期的智能化管理。
四川大学华西医院与深睿医疗的本次研究成果被《the innovation》收录。这是由中国科学院青年创新促进会百余会员与cell press2020年的共创期刊。《the innovation》位于综合性学术期刊全球前列,目前有195位编委会成员,来自21个国家;50%编委来自海外;包含1位诺贝尔奖获得者,33位各国院士;领域覆盖全部自然科学,旨在向科学界展示鼓舞人心的跨学科发现,鼓励研究人员专注于科学的本质和自由探索的初心。
深睿医疗在本次研究中提供了先进的人工智能算法和凯发k8国际首页的技术支持,并参与了mmi系统的开发和验证,在模型的构建、训练和优化过程中发挥了关键作用,确保了系统的高性能和可靠性。呼吸系统疾病研究是深睿医疗一直关注的重点,此前已发表多篇关于肺炎、肺癌、肺结核、肺腺癌等多种呼吸系统疾病的科研成果,促进临床诊断能力的提升。深睿医疗一贯注重产学研深度合作,依托独有的“影像 文本”双ai引擎,在跨学科研究中成果斐然。截至目前深睿医疗科研成果累计影响因子已超1,800,700多个专利及软著,牵头或参与了9个科技部重大专项,15个国家自然科学基金, 30多个省市级科研项目,涵盖了医学影像处理、医疗大数据知识体系的构建及应用以及相关数字疗法等多个研究方向。仅2023年,深睿医疗获批两项国家“十四五”重点研发计划,接连在河南省、浙江省、北京市和江苏省等地获得科学技术进步奖等多项殊荣。
以人工智能等创新技术为基础的高效智能化的手段正在优化和重塑医生的临床诊断路径。未来深睿医疗将继续努力,始终坚持创新,不断拓宽人工智能在医疗领域的应用场景,为疾病的精准诊疗提供更多可能。同时继续深化与各类医疗机构的合作,全面促进科研成果转化,助力国家科技创新,赋能健康中国2030。