同行評議也是聊天機器人寫的嗎？

一項近日公布于arXiv預印本服務器的研究，在同行評議報告中確定了可能具有人工智能文本特征的流行形容詞。這表明，研究人員正在轉向ChatGPT和其他人工智能工具來評價他人的工作。

作者研究了自ChatGPT發布以來，人工智能聊天機器人可以在多大程度上修改提交給4個主要計算機科學會議的論文集的同行評議報告。

分析表明，高達17%的同行評議被聊天機器人大幅修改，盡管尚不清楚研究人員是使用這些工具從頭開始創作評議報告的，還是僅為了編輯和改進書面草稿。

研究人員正使用聊天機器人協助同行評議。圖片來源：Rmedia7/Shutterstock

德國柏林工程應用技術大學的Debora Weber- Wulff表示，鑒于聊天機器人經常產生誤導性或捏造的信息，其為未發表的作品撰寫評議報告“非常令人震驚”。“人工智能系統會‘產生幻覺’，我們不知道它們何時產生幻覺，何時不產生幻覺。”

自2022年11月發布以來，ChatGPT已被用于撰寫大量科學論文，在某些情況下甚至被列為作者。在接受《自然》雜志2023年調查的1600多名科學家中，近30%的人表示曾使用生成式人工智能撰寫論文，約15%的人表示曾將其用于自己的文獻綜述和經費申請書。

在這項研究中，由美國斯坦福大學計算機科學家梁偉欣（音）領導的團隊開發了一種技術，通過識別人工智能比人類更頻繁使用的形容詞來搜索人工智能創作的文本。

研究人員比較了ChatGPT發布前后提交給同一會議的14.6萬多篇同行評議中的形容詞使用情況。分析發現，自聊天機器人的使用成為主流以來，某些積極形容詞的頻率顯著增加，如“值得稱贊的”“創新的”“細致的”“復雜的”“顯著的”和“多才多藝的”。這項研究列出了使用頻率最高的100個形容詞。

研究發現，對會議論文集評價較低、在截止日期前提交的以及作者最不可能回應或反駁的評議中，最有可能包含這些形容詞。因此，至少在某種程度上，這最有可能是聊天機器人撰寫的。“當人們沒有時間的時候，傾向于使用ChatGPT。”梁偉欣說。

該研究還調查了2019年至2023年間，15種《自然》期刊接受發表的約1萬篇手稿的2.5萬多篇同行評議。結果發現，自ChatGPT發布以來，相同形容詞的使用并沒有出現激增。

施普林格·自然的一位發言人表示，出版商要求同行評議人員不要將手稿上傳到生成式人工智能中，并指出這些工具仍有“相當大的局限性”，評議可能包括敏感或專有信息。

該發言人表示，施普林格·自然正在探索為同行評議人員提供安全的人工智能工具以指導他們評議的想法。

英國倫敦大學學院的Andrew Gray表示，梁偉欣的研究發現，在ChatGPT發布后的評議中，流行詞的增加“非常驚人”。他近期的一項研究估計，2023年發表的至少6萬篇論文的作者在某種程度上使用了聊天機器人，至少占當年發表的所有學術研究的1%。

Gray說，同行評議人員可能只是在編輯或翻譯時使用了聊天機器人，但由于缺乏透明度，很難判斷。“有證據表明這些工具正在被使用，但我們并不真正了解是如何被使用的。”

“我們不希望做出價值判斷，也不希望聲明使用人工智能工具審查論文一定是好是壞。” 梁偉欣說，“但我們確實認為，為了透明度和問責制，估計最終文本中有多少可能被人工智能生成或修改是很重要的。”

相關論文信息：https://arxiv.org/abs/2403.07183