近日，四川大學華西醫(yī)院呼吸與危重癥醫(yī)學科教授李為民、研究員王成弟團隊在《創(chuàng)新》上發(fā)表了最新研究論文，創(chuàng)新性開發(fā)了多模態(tài)融合模型，即Multimodal Integration，MMI模型，利用臨床文本、影像圖像、檢驗指標等多維度信息，實現肺部感染性疾病及病原類型精準預測，及時對危重癥進行預警干預。

不同病原體引起的肺部感染性疾病給人民生命健康帶來了嚴重的疾病負擔，胸部計算機斷層掃描是診斷肺部感染的重要輔助工具，但其“異病同征、同病異征”的現象給精準診斷帶來困難。人工智能技術的快速發(fā)展推動了醫(yī)療領域的創(chuàng)新，多模態(tài)融合為疾病精準診斷的實現提供了技術基礎。

該研究納入了四川大學華西醫(yī)院及醫(yī)聯體24107例住院患者，收集其臨床癥狀、診療記錄等文本、實驗室檢測結果和胸部CT圖像。研究者利用雙向編碼器轉換器提取文本信息，通過骨干網絡Swin-Transformer對圖像信息進行特征提取。為進一步提高模型性能，研究者采用注意力Attention架構，將模型從臨床、影像、檢驗數據中提取的單模態(tài)特征合并為多模態(tài)特征，使MMI模型能夠整合多個信息源并有效地對疾病進行精確診斷。

相對于僅使用臨床特征或影像圖像的單一模態(tài)模型，MMI模型在識別肺部感染性疾病患者的準確性更高，并能夠區(qū)分單一感染和混合感染的患者。在識別不同類型肺部感染性疾病任務上，MMI模型平均性能依舊最佳。

不同的數據融合策略會影響模型的診斷性能，研究者對早期融合、中期融合和晚期融合三種融合架構進行探索。與早期融合和后期融合架構相比，中間融合架構表現出更加優(yōu)越的性能。中期融合尋求合并來自多個信息源的特征，生成統(tǒng)一的特征集，增強了信息在信息源間的傳播，并交互式地優(yōu)化了特征提取過程。

研究者進一步收集肺部感染性患者多模態(tài)數據，將該模型與兩組具有不同年資的臨床醫(yī)生進行對比。結果顯示，MMI模型在肺部感染性疾病診斷方面的性能可與具有豐富臨床經驗的醫(yī)生相媲美。

MMI模型在常見肺部感染病原體的預測上也顯示出良好的診斷潛力。覆蓋呼吸道合胞病毒、冠狀病毒、肺炎鏈球菌、結核分枝桿菌等常見呼吸道病毒和細菌病原體。這種對不同病原體亞型的準確區(qū)分，可輔助醫(yī)護人員及時診斷并針對性使用抗菌藥物。預警危重癥也是MMI模型在肺部感染性患者診療中的重要應用。研究者評估了肺部感染性疾病患者危重預后的相關因素，并可視化了多維度特征在預警預后中的重要性。

綜上所述，該研究創(chuàng)新性地開發(fā)多模態(tài)融合MMI模型，精準診斷肺部感染性疾病，快速鎖定病原體，融合多維特征實現重癥提前預警，有助于臨床及時決策干預，改善肺部感染性患者的預后，為肺部感染性疾病精準診療提供新思路。

相關論文信息：https://doi.org/10.1016/j.xinn.2024.100648

來源：《創(chuàng)新》