AI工具使用導致科研成果數量驟增質量下滑

一項近日發表于《科學》的研究指出，像ChatGPT 這樣的人工智能（AI）寫作工具正在大幅提升科研生產力。研究人員借助AI工具使論文發表數量最多增加了50%。但這也有不利的一面，AI生成的文本雖然文筆流暢，但不具備科學價值。此類文本數量的不斷增加，使同行評議、資金決策和科研監督變得更為復雜，因為決策者很難區分有價值的研究成果和低質內容。

自2022年末ChatGPT廣泛投入使用后，許多研究人員都表示，借助這些新AI工具，能完成更多工作。與此同時，期刊編輯們發現，大量文筆流暢但沒有多少科學價值的文章數量激增。

為了探究大語言模型（LLM）如何影響科學出版。美國康奈爾大學的尹易安（音）團隊收集了2018年1月至2024年6月arXiv、bioRxiv 和社會科學研究網（SSRN）這3個主要預印本平臺接收的超200 萬篇論文，涵蓋了物理科學、生命科學和社會科學領域。這些論文尚未經過同行評議。研究人員將其中2023 年前的據推測由人撰寫的論文與AI生成的論文進行比較。通過這種對比，他們構建了一個旨在標記可能借助LLM撰寫的論文的模型。利用這個檢測器，他們估計了哪些作者使用LLM 進行寫作，并追蹤了這些科學家利用AI工具前后投遞的論文數量及被科學期刊接收的數量。

研究結果表明，使用LLM與科研生產力顯著提升相關。在arXiv上，被標記為使用了LLM的科學家發表的論文數量比那些未使用AI的科學家多出約1/3，而在bioRxiv和SSRN上，這一增幅超過了50%。特別是對于那些非英語母語者的科學家來說，這種提升尤為顯著。例如，使用LLM的亞洲機構研究人員比未采用該工具的研究人員在不同預印本網站發表的論文數量多43.0%~89.3%。尹易安預計，這最終可能改變全球科研生產力格局，使那些因語言障礙而受阻的地區迎頭趕上。

該研究還指出，在文獻檢索和引用構建方面AI工具可能具有潛在優勢，在呈現較新論文和相關書籍方面比傳統搜索工具表現更佳。“使用LLM的人能夠接觸到更多樣化的知識，這或許能激發更多富有創意的想法。”研究論文第一作者Keigo Kusumegi說。

盡管LLM幫助個人創作出更多的手稿，但更讓人難以判斷哪些是真正高質量的科學研究。尹易安表示，這種寫作質量與研究質量之間的差距可能會產生嚴重后果。編輯和審稿人可能更難識別出最具價值的投稿，而大學和資助機構可能發現，單純的發表數量已不再能反映科學貢獻。

研究人員強調，這些發現是觀察性的結果。下一步，他們希望采用諸如控制實驗之類的方法來測試因果關系。

相關論文信息：https://doi.org/10.1126/science.adw3000