7月5日,在2024世界人工智能大会期间,商汤医疗联合中华医学会病理学分会王哲副主委团队、清华大学何永红教授团队共同发布国内首个病理大模型pathorchestra。该模型基于国内规模最大的数字病理图像数据集训练,并实现全球最广泛的临床任务赋能,完成了病理ai领域从“单模专病”到“一模多病”的跨越式突破。商汤医疗已将该成果深度嵌入业内领先的数智化病理科整体凯发k8官网的解决方案,助力医院“一站式”建设大模型驱动的数字化智慧病理科,开启病理诊断“新纪元”。
图说:中华医学会病理学分会副主任委员、中国医师协会病理医师分会副会长王哲(中),清华大学深圳国际研究生院生医健康工程研究院,生物医学工程、光学教授何永红(左),商汤科技副总裁张少霆(右)共同发布国内首个病理大模型pathorchestra
病理诊断迎来“大模型时代”
病理诊断被誉为疾病诊断的“金标准”,但该领域长期以来面临病理医生培养周期长、优质病理诊断资源分布不均匀等问题。人工智能技术的应用让国内外病理科迎来数智化转型浪潮,不过由于数字病理切片分辨率高、涉及病种多,在“大数据 精标注”的传统ai模型训练范式下,想要对每一种疾病进行精标注训练几乎是“不可能完成的任务”。
“病理图像具有非常大的多样性,要借助人工智能技术开展诊断难度极大,因此病理图像处理也被称为图像处理中的‘皇冠上的明珠’。病理大模型正是突破数字病理瓶颈的关键。”王哲在发布仪式上表示。
图说:王哲在发布会现场做主题分享
此次发布的病理大模型pathorchestra,将视觉模型和大语言模型结合,利用国内规模最大的近30万张全切片数字病理图像(近300tb数据)数据集训练,并融合了文本、视频等多模态训练数据。通过对海量数据的自监督学习,无需大量精标注数据,即可让模型“触类旁通”学会分析各类器官病理图像,已覆盖肺、乳腺、肝脏、食管等20余种器官,赋能包括泛癌分类、病灶识别和检测、多癌种亚型分类、生物标志物评估等在内的百余项临床任务,已在多器官泛癌分类、淋巴瘤亚型诊断、膀胱癌筛查等近50项任务中准确率超过95%,这也是目前全球赋能临床任务最广的病理大模型。
图说:病理大模型pathorchestra可赋能百余项临床任务
在训练过程中,研发团队还针对性地增加了食管癌、乳腺癌等中国发病率较高的癌症数据,使模型能力更符合我国临床实际需求。王哲表示:“pathorchestra是一首由视觉模型、大语言模型以及多模态数据共同奏响的协奏曲,希望这首协奏曲能够奏出美好的曲调,为中国乃至世界的广大患者的病理诊断做出更好的服务。”
大模型驱动,打造一站式病理科数智化凯发k8官网的解决方案
病理大模型pathorchestra的发布为数智化病理科建设提供了强大的底层技术支撑。为了推动大模型技术在病理诊断中的应用,商汤医疗已打造大模型驱动的数智化病理科整体凯发k8官网的解决方案,串联切片数字化扫描、高性能阅片、ai智能辅助诊断、数据存储等病理智慧化诊断全流程。
为了满足多院区、医联体等区域性病理智能分析需求,商汤医疗助力医院打造智能数字切片管理系统及高性能数字阅片平台,在千人并发下仍能达成“秒级无卡顿调阅”的出色性能。在此基础上,针对ai智能辅助诊断环节,依托病理大模型的底层赋能,商汤医疗将模型能力半径拓展至百余种病理临床任务,有效缓解了病理医生工作量超负荷的问题,显著提高阅片效率。
商汤医疗将继续挖掘大模型技术在医学领域的应用潜力,为我国病理科的数字化、智慧化升级和标准化发展提供更多赋能,助力我国医疗事业高质量发展。