編輯丨王多魚

題圖丨Pixabay

糖尿病是全球上升最快的主要慢性病，可造成失明、腎功能衰竭、截肢、腦卒中、心肌梗死等。全球糖尿病患者超5億人，其中80%生活在中低收入國家。我國現(xiàn)有糖尿病人數(shù)約1.4億，居全球之首，糖尿病防治形勢更為嚴峻，尤其在基層和偏遠地區(qū)缺乏糖尿病管理適宜技術，基層醫(yī)生的數(shù)量和經(jīng)驗遠不能滿足糖尿病管理的實際需求。糖尿病的患病率不斷上升對中國及全球的公共衛(wèi)生構成重大挑戰(zhàn)，亟需構建糖尿病一體化管理的適宜性數(shù)字解決方案，賦能基層醫(yī)療。

2024年7月19日，清華大學黃天蔭教授團隊、上海交通大學電院計算機系/教育部人工智能重點實驗室盛斌教授團隊、上海交通大學醫(yī)學院附屬第六人民醫(yī)院賈偉平教授和李華婷教授團隊、新加坡國立大學覃宇宗教授團隊合作，在 Nature Medicine 期刊發(fā)表了題為：Integrated image-based deep learning and language models for primary diabetes care 的研究論文。

研究團隊通過醫(yī)工交叉合作研究，構建了全球首個面向糖尿病診療的視覺-大語言模型的多模態(tài)集成智能系統(tǒng)——DeepDR-LLM。

DeepDR-LLM系統(tǒng)融合了大語言模型和深度學習技術優(yōu)勢，實現(xiàn)了醫(yī)學影像診斷與診療意見的多模態(tài)生成功能，能提供糖尿病視網(wǎng)膜病變輔助診斷結果及個性化糖尿病綜合管理意見。該系統(tǒng)在覆蓋亞非歐三大區(qū)域七個國家的多中心隊列中進行了回顧性驗證，以及針對中國基層醫(yī)療實際開展了前瞻性真實世界驗證，首次向全球提供了面向糖尿病醫(yī)療垂直領域的多模態(tài)大模型應用成效的高質量循證證據(jù)。研究證明DeepDR-LLM系統(tǒng)可有效改善糖尿病視網(wǎng)膜病變（DR）篩查和基層糖尿病管理水平，為未來全球糖尿病治理提供了革命性的數(shù)字解決方案。

人工智能特別是深度學習在糖尿病及并發(fā)癥管理領域發(fā)揮著越來越重要的作用，2017年，時任新加坡國家眼科中心醫(yī)學主任的黃天蔭教授及其團隊在國際上率先基于深度學習算法并在多種族人群上實現(xiàn)了自動診斷中重度糖尿病視網(wǎng)膜病變（DR）病例，成果發(fā)表于JAMA，這在智能醫(yī)療發(fā)展歷史上具有里程碑式意義。

2018年，賈偉平教授和李華婷教授團隊與上海交通大學電子信息與電氣工程學院盛斌教授團隊開展醫(yī)工交叉協(xié)同創(chuàng)新，攜手新加坡國家眼科中心等機構，研制了遷移強化的多任務深度學習系統(tǒng)DeepDR，實現(xiàn)了對糖尿病視網(wǎng)膜病變（DR）從輕度到增殖期病變的全病程自動診斷，并能對眼底圖像的質量進行實時反饋以及眼底病變的識別分割，該成果于2021年發(fā)表于Nature Communications，該技術同時應用于國際糖尿病聯(lián)盟“全球中低收入國家糖尿病視網(wǎng)膜病變篩查項目”，推廣至48個國家。

2021年底，黃天蔭教授受聘于清華大學擔任講席教授及醫(yī)學學科帶頭人，積極開展人工智能賦能糖尿病及眼病并發(fā)癥診療的轉化研究工作。賈偉平教授、李華婷教授團隊、盛斌教授團隊與黃天蔭教授團隊持續(xù)合作，成功構建基于Weibull混合分布模型的深度學習系統(tǒng)DeepDR Plus，在全球率先實現(xiàn)對DR進展長達5年的風險預警和進展預測，超越在該領域此前由美國Google擁有的技術，可在大幅降低篩查頻率和公共衛(wèi)生成本的情況下仍保持極低的漏診率，該成果于2024年1月發(fā)表于Nature Medicine。

然而，既往的人工智能系統(tǒng)研發(fā)主要集中在糖尿病的并發(fā)癥篩查或輔助管理的單一領域。隨著全球范圍內以ChatGPT為代表的生成式人工智能技術的迅猛發(fā)展，多模態(tài)大模型正不斷推動醫(yī)療領域的新應用場景和模式的涌現(xiàn)，但這些模型尚不能根據(jù)患者的醫(yī)學影像和具體病情，提供準確且安全的糖尿病綜合診療建議。鑒于這種現(xiàn)狀，如何有效整合糖尿病并發(fā)癥的精準診斷與糖尿病診療意見的自動生成，構建出一個安全可控的多模態(tài)智能模型，以支持基層醫(yī)生提供一站式輔助診療服務，已成為國際醫(yī)療領域的前沿課題和重大挑戰(zhàn)。

針對當前的技術空白和臨床的實際需求，該研究成功研發(fā)了全球首個面向糖尿病基層診療的視覺-大語言模型多模態(tài)集成智能系統(tǒng)——DeepDR-LLM。該系統(tǒng)由大語言模型（LLM）模塊和DeepDR-Transformer模塊組成，研究團隊創(chuàng)新性地提出融合適配器（Adaptor）和低秩自適應（Low-Rank Adaptation，LoRA）協(xié)同優(yōu)化技術，構建了DeepDR-LLM多模態(tài)大模型（圖2），可適配包括LLaMA在內的大語言模型，LLM模塊將訓練網(wǎng)絡層與大語言模型的固有權重參數(shù)相融合，突破低算力資源約束下的多模態(tài)大模型優(yōu)化的瓶頸，并進一步基于37.2萬條基層慢病診療和慢病管理數(shù)據(jù)和知識實現(xiàn)了高效優(yōu)化訓練，使DeepDR-LLM系統(tǒng)可基于患者個體的臨床信息生成精準糖尿病管理意見。與此同時，DeepDR-Transformer模塊引入Transformer模型架構針對超50萬張眼底圖像進行訓練，精準實現(xiàn)眼底影像的質量檢測、病變分割和DR分級診斷。DeepDR-Transformer模塊生成的DR等相關視覺特征信息可自動輸入LLM模塊，從而實現(xiàn)DeepDR-LLM系統(tǒng)的一站式多模態(tài)診療意見集成。

圖2. DeepDR-LLM系統(tǒng)概覽

DeepDR-LLM系統(tǒng)自去年研制成功后，研究團隊對該系統(tǒng)開展了安全性、可靠性、可控性、公平性等多維度的評估（圖3）。研究團隊邀請香港中文大學Juliana C. N. Chan教授、上海市第六人民醫(yī)院包玉倩教授、澳大利亞Baker心臟病與糖尿病研究所Jonathan E. Shaw教授、美國約翰霍普金斯大學Justin B. Echouffo-Tcheugui教授、新加坡國家眼科中心Gavin Siew Wei Tan教授等糖尿病相關學科的著名學者組成國際多學科專家委員會，專家委員會首先從覆蓋中國31個省區(qū)的中國糖尿病慢性并發(fā)癥研究隊列中隨機抽取100個病例樣本，專家針對每個病例形成診療共識，以此為標準答案，對DeepDR-LLM系統(tǒng)和基層醫(yī)生給出的診療意見進行盲法評分。

評分結果顯示，DeepDR-LLM系統(tǒng)產(chǎn)出診療意見的質量達到或優(yōu)于基層醫(yī)生的水平（圖3a）。DeepDR-LLM系統(tǒng)通過來自北京、上海、廣州、武漢及香港等中國城市和新加坡、印度、泰國、英國、阿爾及利亞、烏茲別克斯坦六個國家的超50萬張眼底圖像對DeepDR-LLM系統(tǒng)進行外部測試，其DR診斷能力達到專業(yè)眼科醫(yī)生水平（圖3b）。進一步通過面向中國基層醫(yī)生和新加坡讀片人員的讀片試驗，利用從中國糖尿病慢性并發(fā)癥研究、新加坡眼病流行病學研究等數(shù)據(jù)庫抽取的眼底圖像，團隊同時證明了基層醫(yī)生在DeepDR-LLM的輔助下能夠更準確地判讀DR（圖3c）。更重要的是，研究團隊將集成的DeepDR-LLM系統(tǒng)應用于真實世界臨床流程，開展了隨訪769名中國基層糖尿病患者的前瞻性研究，證明了在DeepDR-LLM系統(tǒng)納入糖尿病診療流程后，可顯著改善新發(fā)糖尿病患者的自我管理行為，并提高DR患者的轉診依從性（圖3d）。

圖3. DeepDR-LLM系統(tǒng)評估流程

目前全球基層糖尿病管理水平參差不齊，中低收入國家面臨醫(yī)療資源不足、缺乏訓練有素的基層醫(yī)生等挑戰(zhàn)。DeepDR-LLM系統(tǒng)具備DR輔助診斷及糖尿病管理意見推薦功能，將其納入基層糖尿病管理診療流程有望提高基層DR篩查能力和糖尿病管理意見推薦能力，進而改善糖尿病患者預后（圖4）。

圖4. DeepDR-LLM系統(tǒng)納入基層糖尿病診療流程的愿景

美國醫(yī)學科學院院士、精準醫(yī)學先驅、全球醫(yī)學領域最高引用前十學者、美國斯克里普斯研究研究所（Scripps Research）所長Eric Topol教授評價：“For people with diabetes, multimodal AI provided high quality and empathetic guidance with enhanced self-management behaviors beyond the primary care physician alone”。

2023年沃爾夫醫(yī)學獎得主、GLP-1研究領域的奠基人和杰出領袖、加拿大多倫多大學醫(yī)學院教授Daniel J. Drucker教授評價：“DeepDR-LLM holds promise as a digital solution for enhancing primary diabetes care and diabetic retinopathy screening”。

亞洲糖尿病協(xié)會創(chuàng)始人、ADA國際糖尿病Harold Rifkin杰出獎獲得者、香港中文大學陳重娥（Juliana C. N. Chan）教授評價：“This is a very innovative project of combining language and image AI models to address a public health problem”。

清華大學黃天蔭教授、上海交通大學盛斌教授、上海交通大學醫(yī)學院附屬第六人民醫(yī)院賈偉平教授及李華婷教授、新加坡國立大學覃宇宗教授為論文共同通訊作者。博士生李佳佳、博士生管洲榆、上海市保健醫(yī)療中心王靜醫(yī)生為論文共同第一作者。

論文鏈接：

https://www.nature.com/articles/s41591-024-03139-8

閱讀原文