先進的人工智能模型居然不會“問診”

一項新研究發現，雖然先進的人工智能（AI）模型在專業醫學考試中得分很高，但在醫生最重要的任務之一 ——與患者交談以收集相關醫療信息并提供準確診斷方面，仍然表現不佳。1月2日，相關研究成果發表于《自然-醫學》。

圖片來源：Just_Super/Getty Images

美國哈佛大學的Pranav Rajpurkar說：“雖然大型語言模型在多項選擇測試中的表現令人印象深刻，但在動態對話中，它們的準確性明顯下降，特別是難以進行開放式診斷推理。”

當研究人員開發出一種基于模擬醫患對話評估臨床AI模型推理能力的方法時，這一點變得很明顯。這些“患者”基于2000個醫療案例，主要來自美國醫學委員會的專業考試。

同樣來自哈佛大學的Shreya Johri說：“模擬患者互動可以評估病史采集技能，這是臨床實踐的一個關鍵組成部分。”她表示，新的評估基準被稱為CRAFT-MD，也“反映了現實生活中的情況，即患者可能不知道哪些細節是至關重要的，只有在特定問題提示時才會披露重要信息”。

CRAFT-MD基準本身依賴于AI。美國OpenAI公司的GPT-4模型在與正在測試的“臨床AI”的對話中扮演了“患者AI”的角色。GPT-4還通過將“臨床AI”的診斷與每個病例的正確答案進行比較，幫助對結果進行評分。人類醫學專家仔細檢查了這些評估。他們還審查了對話，以檢查“患者AI”的準確性，并查看“臨床AI”是否成功收集了相關的醫療信息。

多項實驗表明，4種領先的大型語言模型——OpenAI的GPT-3.5和GPT-4模型、美國Meta公司的Llama-2-7b模型和法國Mistral AI公司的Mistral-v2-7b模型，在基于對話的基準測試中的表現比基于書面病例總結進行診斷時差得多。3家公司沒有回應置評請求。

 例如，當提供結構化的病例摘要并允許從多項選擇答案列表中選擇診斷時，GPT-4模型的診斷準確性達到了令人印象深刻的82%，而當沒有多項選擇選項時，其診斷準確率降至49%以下。然而，當它不得不通過模擬的患者對話進行診斷時，準確率降至26%。

在這項研究中，GPT-4模型的表現在測試中是最好的，GPT-3.5模型通常次之，Mistral-v2-7b模型排在第二位或第三位，Llama-2-7b模型通常得分最低。

AI模型在很大程度上也未能收集完整的病史，比如GPT-4模型僅在71%的模擬患者對話中做到了這一點。即使AI模型確實收集了患者的相關病史，它們也并不總是能作出正確的診斷。

美國斯克利普斯研究轉化研究所的Eric Topol表示，這種模擬患者對話的方式代表了一種比醫學檢查“更有用”的評估AI臨床推理能力的方法。

Rajpurkar說，即使一個AI模型最終通過了這一基準，能夠根據模擬的患者對話持續作出準確診斷，也并不一定意味著它優于人類醫生。他指出，現實世界中的醫療實踐比模擬中的“更混亂”。它涉及管理多名患者、與醫療團隊協調、進行身體檢查，以及了解當地醫療情況中“復雜的社會和系統因素”。“AI可能是支持臨床工作的強大工具，但不一定能取代經驗豐富的醫生的整體判斷。”Rajpurkar說。

相關論文信息：https://doi.org/10.1038/s41591-024-03328-5