用 AI 大模子一键通晓 MRI、CT 和病理学等九大生物医学成像模式。
不仅复杂、不功令口头临象能高精度识别：
而且通过对象识别阈值建模，模子轻率检测无效的辅导肯求，并在图像中不存在指定对象时拒却分割。
用户更是无需手动进行标注或畛域框操作——
只需通过随意的临床说话辅导指定目的对象，举例"肿瘤畛域"或"免疫细胞"，便能让 AI 准确识别、检测并分割图像中的相关区域。
还可一次性同期分割和标记统统感意思的生物医学对象：
这便是来自微软、华盛顿大学等的磋磨团队最新发布的基础模子BiomedParse，已登Nature Methods。
医学图像的成像模式各异强大（如 CT、MRI、病理切片、显微镜图像等），传统上需要考试众人模子进行处理。
而 BiomedParse，通过文本运行图像通晓将九种医学成像模式整合于一个统一的模子中，结伴预考试处理对象识别、检测与分割任务。
不管是影像级别的器官扫描，还是细胞级别的显微镜图像，BiomedParse 皆不错平直欺诈临床术语进行跨模式操作，为科学家和临床大夫提供了更统一、更智能的多模式图像通晓决策。
在分割不功令口头的生物医学对象方面，BiomedParse 相较传统模子发达超卓。通过将图像区域与临床认识关联，比拟手动框选分割精度提高 39.6%，提高了在重要任务中的可靠性。
当今，磋磨团队已将 BiomedParse 开源并提供 Apache 2.0 许可，相关演示 demo 和 Azure API 均已上线。
只需笔墨辅导，精度高出 SOTA
为复旧 BiomedParse 的预考试，磋磨团队欺诈GPT-4从 45 个公开的医学图像分割数据集生成了首个障翳对象识别、检测和分割任务的数据集 BiomedParseData。
该数据集包含逾越 600 万个图像、分割标注与笔墨形容三元组，涵盖64 种主要生物医学对象类型及82 个细分类别，触及 CT、MRI、病理切片等九种成像模式。
通过 GPT-4 的当然说话生成才智，磋磨东谈主员将洒落在万般现存数据网络的分割任务用统一的医学认识和说话形容整合起来，让 BiomedParse 能在更大，更万般的数据中颐养走漏。
在测试集上，BiomedParse 在 Dice 统共上显贵高出了现时最优轨范 MedSAM 和 SAM，而且无需对每个对象手动提供畛域框辅导。
即使在给 MedSAM 和 SAM 提供精确畛域框的情况下，BiomedParse 的纯文本辅导分割性能仍能高出 5-15 个百分点。
此外，BiomedParse 的性能还优于 SEEM、SegVol、SAT、CellViT、Swin UNETR 等多个模子，尤其在复杂不功令的对象识别上发达杰出。
生物医学图像中的不功令对象一直是传统模子的波折，而 BiomedParse 通过结伴对象识别和检测任务，通过文本走漏杀青了对对象特定口头的建模。对复杂对象的识别精度远超传统模子，且在多模态数据网络进一步突显了其上风。
权衡将来，团队示意 BiomedParse 领有广袤的发展后劲，可进一步扩张至更多成像模式和对象类型，并与 LLaVA-Med 等高等多模态框架集成，复旧"对话式"图像分析，杀青数据交互式探索。
作家简介
论文共归并作及通信作家均为华东谈主学者，分手来自微软和华盛顿大学。
赵正德（Theodore Zhao），论文一作，为该磋磨作出主要时间孝敬。
微软高等应用科学家，现主要磋磨办法包括多模态医疗 AI 模子，图像分割与处理，大模子的安全性分析。
本科毕业于复旦大学物理系，博士毕业于华盛顿大学应用数学系，时期磋磨希尔伯特 - 黄变换和分数布朗畅通的多轨范特征，以及立地优化在医疗鸿沟的应用。
顾禹（Aiden Gu），论文一作。
微软高等应用科学家。本科毕业于北京大学微电子与经济专科。
其磋磨办法专注于医疗健康、生物医学，以及机器东谈主多模态模子。代表性责任包括创建首个医学鸿沟特定的大说话模子 PubMedBERT，以及患者旅程模拟模子 BiomedJourney。
潘海峰（Hoifung Poon），论文通信作家。
王晟（Sheng Wang），论文通信作家。
华盛顿大学野神思科学与工程系助理阐述，微软磋磨院窥伺学者。
他专注于东谈主工智能与医学的交叉磋磨，欺诈生成式 AI 处分生物医知识题。其科研效力已在《Nature》《Science》《Nature Biotechnology》《Nature Methods》和《The Lancet Oncology》等顶级期刊上发表十余篇论文，并被 Mayo Clinic、Chan Zuckerberg Biohub、UW Medicine、Providence 等多家驰名医疗机构世俗应用。
Mu Wei，论文通信作家。
微软 Health and Life Sciences 首席应用科学家，领有十余年医疗与金融鸿沟的 AI 模子研发与部署教会。
他的团队聚焦于健康鸿沟的多模态 AI 模子，磋磨效力涵盖生物医学图像通晓、数字病理学基础模子、临床文档结构化的大模子应用以及大模子谬误率意想等办法。
感意思的童鞋可自行查阅～
论文地址：https://www.nature.com/articles/s41592-024-02499-w
技俩网页：https://microsoft.github.io/BiomedParse/
代码：https://aka.ms/biomedparse-release
Azure API 网页：https://ai.azure.com/explore/models/MedImageParse/version/3/registry/azureml?flight=ModelCatalogIndustryFilters&tid=72f988bf-86f1-41af-91ab-2d7cd011db47
— 完 —
投稿请发邮件到：
ai@qbitai.com
标题注明【投稿】，告诉咱们：
你是谁，从哪来，投稿骨子
附上论文 / 技俩主页联接，以及说合神色哦
咱们会（尽量）实时修起你
点这里� � 存眷我，牢记标星哦～
一键三连「共享」、「点赞」和「在看」
科技前沿进展日日重逢 ~