当前位置：
X-MOL 学术
›
npj Digit. Med.
›
论文详情
Our official English website, www.x-mol.net, welcomes your
feedback! (Note: you will need to create a separate account there.)
Medical domain knowledge in domain-agnostic generative AI
npj Digital Medicine ( IF 12.4 ) Pub Date : 2022-07-11 , DOI: 10.1038/s41746-022-00634-5 Jakob Nikolas Kather 1, 2, 3, 4 , Narmin Ghaffari Laleh 1 , Sebastian Foersch 5 , Daniel Truhn 6
npj Digital Medicine ( IF 12.4 ) Pub Date : 2022-07-11 , DOI: 10.1038/s41746-022-00634-5 Jakob Nikolas Kather 1, 2, 3, 4 , Narmin Ghaffari Laleh 1 , Sebastian Foersch 5 , Daniel Truhn 6
Affiliation
|
The text-guided diffusion model GLIDE (Guided Language to Image Diffusion for Generation and Editing) is the state of the art in text-to-image generative artificial intelligence (AI). GLIDE has rich representations, but medical applications of this model have not been systematically explored. If GLIDE had useful medical knowledge, it could be used for medical image analysis tasks, a domain in which AI systems are still highly engineered towards a single use-case. Here we show that the publicly available GLIDE model has reasonably strong representations of key topics in cancer research and oncology, in particular the general style of histopathology images and multiple facets of diseases, pathological processes and laboratory assays. However, GLIDE seems to lack useful representations of the style and content of radiology data. Our findings demonstrate that domain-agnostic generative AI models can learn relevant medical concepts without explicit training. Thus, GLIDE and similar models might be useful for medical image processing tasks in the future - particularly with additional domain-specific fine-tuning.
中文翻译：
与领域无关的生成 AI 中的医学领域知识
文本引导扩散模型 GLIDE（用于生成和编辑的图像扩散引导语言）是文本到图像生成人工智能 (AI) 的最新技术。GLIDE 具有丰富的表示，但该模型的医学应用尚未得到系统探索。如果 GLIDE 拥有有用的医学知识，它可以用于医学图像分析任务，在这个领域，人工智能系统仍然针对单个用例进行了高度工程化。在这里，我们展示了公开可用的 GLIDE 模型对癌症研究和肿瘤学中的关键主题具有相当强的代表性，特别是组织病理学图像的一般风格和疾病、病理过程和实验室检测的多个方面。然而，GLIDE 似乎缺乏对放射学数据的风格和内容的有用表示。我们的研究结果表明，与领域无关的生成 AI 模型可以在没有明确训练的情况下学习相关的医学概念。因此，GLIDE 和类似模型在未来可能对医学图像处理任务有用——尤其是在额外的特定领域微调时。
更新日期：2022-07-11
中文翻译：
与领域无关的生成 AI 中的医学领域知识
文本引导扩散模型 GLIDE（用于生成和编辑的图像扩散引导语言）是文本到图像生成人工智能 (AI) 的最新技术。GLIDE 具有丰富的表示，但该模型的医学应用尚未得到系统探索。如果 GLIDE 拥有有用的医学知识，它可以用于医学图像分析任务，在这个领域，人工智能系统仍然针对单个用例进行了高度工程化。在这里，我们展示了公开可用的 GLIDE 模型对癌症研究和肿瘤学中的关键主题具有相当强的代表性，特别是组织病理学图像的一般风格和疾病、病理过程和实验室检测的多个方面。然而，GLIDE 似乎缺乏对放射学数据的风格和内容的有用表示。我们的研究结果表明，与领域无关的生成 AI 模型可以在没有明确训练的情况下学习相关的医学概念。因此，GLIDE 和类似模型在未来可能对医学图像处理任务有用——尤其是在额外的特定领域微调时。
京公网安备 11010802027423号