医学领域缺乏公开可用的标注医学图像，这是计算研究和教育创新的一大障碍。与此同时，许多去标识化的图像和丰富的知识被临床医生在医学Twitter等公共平台上分享。
近日，发表在《Nature Medicine》上的一篇题为“A visual–language foundation model for pathology image analysis using medical Twitter”的文章中，斯坦福大学研究团队开发了基于视觉和语言的医学大模型，以助力医学诊断与知识共享。
在该论文中，研究人员构建了一个名为OpenPath的大型数据集，其中包含208,414张病理图像，每张图像都与自然语言描述相配对。通过开发病理语言-图像预训练（PLIP）模型，研究人员充分展示了这一资源的价值。PLIP是一种多模态人工智能模型，能够理解图像和文本，它是基于OpenPath数据集进行训练的，PLIP在对四个外部数据集进行新病理图像分类时表现出色，使用户能够通过图像或自然语言搜索检索相似的病例，极大地促进了知识共享。该研究表明，公开共享的医学信息是一个宝贵的资源，可以用于开发医学人工智能，提升诊断、知识共享和教育水平。
注：此研究成果摘自《Nature Medicine》，文章内容不代表本网站观点和立场，仅供参考。
