新研究表明使用DALLE2生成AI图像在放射学领域前景广阔

发表在《医学互联网研究杂志》上的一篇新论文描述了 DALL-E 2 等生成模型(一种用于文本到图像生成的新型深度学习模型)如何代表一种有前途的未来图像生成、增强和操作工具卫生保健。生成模型是否具有足够的医学领域知识来提供准确有用的结果?Lisa C Adams 博士及其同事在他们最新的题为“ DALL-E 2 对放射学了解多少?”的观点中探讨了这个话题。”

DALL-E 2由 OpenAI 于 2022 年 4 月首次推出，是一种人工智能 (AI) 工具，因基于文本输入生成新颖的逼真图像或艺术品而广受欢迎。DALL-E 2 的生成能力非常强大，因为它已经接受了互联网上数十亿个现有文本图像对的训练。为了了解这些功能是否可以转移到医疗领域以创建或增加数据，来自德国和的研究人员检查了 DALL-E 2 在创建和操作 X 射线、计算机断层扫描 (CT)、磁共振成像 ( MRI)和超声图像。

该研究的作者发现，DALL-E 2 已经学习了 X 射线图像的相关表示，并显示出文本到图像生成的巨大潜力。具体来说，DALL-E 2 能够根据简短的文本提示创建逼真的 X 射线图像，但在给出特定的 CT、MRI 或超声图像提示时，它的表现并不好。它还能够合理地重建放射图像中缺失的方面。它可以做的更多——例如，仅使用一张膝盖图像作为起点，创建一张完整的全身 X 光片。然而，DALL-E 2 生成具有病理异常的图像的能力有限。

DALL-E 2 生成的合成数据可以大大加快新的放射学深度学习工具的开发，并解决与机构间数据共享相关的隐私问题。该研究的作者指出，生成的图像应由领域专家进行质量控制，以降低错误信息进入生成数据集的风险。他们还强调需要进一步研究，以根据医学数据微调这些模型，并结合医学术语来创建强大的模型，用于放射学研究中的数据生成和扩充。尽管公众无法对 DALL-E 2 进行微调，但其他生成模型(如Stable Diffusion)可以进行微调，可用于生成各种医学图像。

总体而言， JMIR Publications发表的这一观点为放射学中 AI 图像生成的未来提供了一个充满希望的前景。这一领域的进一步研究和开发可能会为放射科医生和医疗专业人员带来令人兴奋的新工具。

虽然有一些限制需要解决，但在研究和医学培训和教育中使用 DALL-E 2 和ChatGPT等工具的潜在好处是巨大的。为此，正如Gunther Eysenbach 博士在最近的一篇社论中宣布​​的那样， JMIR 医学教育现在正在邀请提交关于在医学教育中使用生成语言模型的新电子合集。