近日，中國科學院合肥物質科學研究院團隊提出了高效時空多模態圖神經網絡（ET_MGNN）新型深度學習框架，提升了阿爾茨海默病和自閉癥譜系障礙等腦疾病的自動診斷準確率。
理解大腦的復雜活動需同時關注功能協調和結構解剖。然而，現有的腦網絡學習模型在處理動態建模和多模態信息融合方面存在局限。為克服這些挑戰，研究團隊受大語言模型架構的啟發，開發了ET_MGNN模型。
ET_MGNN模型通過時間滑動窗口技術，將反映腦區同步性的動態功能連接與提供物理約束的結構連接進行自適應融合，構建出更全面的動態大腦圖序列；引入RWKV模塊，結合循環神經網絡捕獲長程依賴的能力和Transformer并行計算的高效性，能夠更精準地模擬大腦在不同功能狀態間的動態切換；引入GASO圖讀取模塊，能夠識別出與疾病高度相關的關鍵腦區，為臨床診斷提供直觀的生物標志物。
研究團隊進一步在ABIDE II（自閉癥）和ADNI（阿爾茨海默病）等數據集上進行了驗證。實驗結果顯示：在自閉癥分類任務中，相比于性能優秀的模型，ET_MGNN模型的分類準確率平均提升了11.8%；在阿爾茨海默病與輕度認知障礙的鑒別中，ET_MGNN模型的準確率提升了32.9%。與同類模型相比，ET_MGNN模型的參數量減少了一個數量級，具有更低的峰值顯存占用，更適合在資源受限的實際醫療環境中部署。ET_MGNN模型還能夠識別相關疾病的病理關聯區域。例如，在自閉癥識別中，ET_MGNN模型聚焦軀體運動網絡；在阿爾茨海默病診斷中，ET_MGNN模型能夠精準定位涉及記憶和注意力控制的默認網絡及顯著網絡中的異常腦區。
上述研究驗證了ET_MGNN模型的有效性，為理解腦疾病的神經機制提供了新視角。
相關研究成果發表在Neurocomputing上。研究工作得到國家自然科學基金等的支持。