博士用4年“打假”：領域內“開山之作”是瞎編的？

“真相只有一個”，這是陳路最愛的動漫《名偵探柯南》中的一句標志性臺詞。上百集的番劇，陳路刷過不止一遍，連微信頭像都換成了主人公“新一”。他是個不那么典型的“二次元”，酷愛日本動漫，但性格安靜、內向，骨子里有點“理想主義”。

2022年9月，還在中國人民大學信息學院讀博二的陳路在知乎上講了個故事，充滿戲劇性——他研究了4年的一篇領域內“開山”級論文竟然是“假”的。

起初，這篇帖子并未引起多少關注，直到陳路的復現報告被ICASSP2023接收。一大批網友涌入這片原本無人問津的評論區，豎起大拇指。原帖還被一些微博大V、知名公眾號轉載。至此，這個頗具荒誕色彩的“打假”故事才被更多人了解：

一篇源自世界頂尖名校麻省理工學院（MIT）的領域內“開山之作”被質疑造假。而舉起這把長矛的人，正是名不見經傳的陳路——一位自稱“資質平庸”的二次元“土博”。

“該不會是假的吧”

當質疑的念頭第一次出現在腦海，陳路甚至有些不自信。那是2020年秋天的一個深夜，讀博3個月的陳路喪氣地躺在床上，望著天花板。碩士畢業一年后，他放棄了一份國字頭的“鐵飯碗”和馬上到手的北京戶口，破釜沉舟般地回到人大繼續讀博。

由于和碩士階段是同一位指導老師，陳路很自然地撿起了那時未完成的項目。2018年6月，研一即將結束，陳路的導師讓他去研究一個名為“語音向量”的前沿領域。該領域的“開山之作”于2017年問世，第一作者是來自MIT的Yu-An Chung，后者曾是臺灣大學知名教授李宏毅的學生。

MIT的“開山之作”

由于作者出身頂級名校，且其文章中的實驗效果極佳，陳路在接手該任務之初，并未對實驗的真實性和權威性有過懷疑。畢竟，那時的他才接觸AI領域不久，是個資歷不足的“生瓜蛋子”。

最開始的一年，陳路像極了滾石上山的西西弗斯。“周而復始，陷入困局”，他在回憶貼中如此形容道。“那個時候主要是想復現Yu-An Chung的論文，也缺乏經驗，就把所有的精力都投入實驗中，每天就是悶頭做實驗，今天改改這兒，明天調調那兒。”陳路說。

他將每周的實驗結果都匯總成報告，整整齊齊排列在文件夾。可等到研究生快畢業了，實驗仍然沒有任何效果。當時，陳路的兩位博士師兄都做出了“十分了得”的成果，連尚未入學的碩士師弟也是“攜paper進組”。陳路夾在中間，“比上不足，比下也不足”。

他實在想不明白，為什么這個實驗就是復現不出來，感覺好似面前橫著一堵墻。見陳路每天忙忙碌碌卻沒有進展，連導師都質疑他，“是不是心思不在上面”。對此，陳路深感歉疚。他答應導師，工作后仍會繼續這項研究。

陳路和女朋友都很喜歡“二次元”文化。在女友心目中，陳路是那種比較理想主義、富有冒險精神的人。“當時，她認為我應該去一些大公司，做一些更有挑戰性的事情。”陳路回憶道。但他最后還是退縮了。為穩妥起見，他接下了一份國字頭的體制內工作。為此女朋友有些失望——“她覺得我應該去爭取那些成為‘英雄’的機會，那樣我會更高興”。

進入單位后，陳路被現實上了一課。他發現，之前對方承諾的很多東西都無法兌現。身處非核心業務崗位，陳路被置于一種“身心俱疲，賺不到錢，發展又很受限”的尷尬境地。不出一個月，他就向單位遞交了辭職申請，逃離這個“圍城”。同時丟掉的，還有即將進入流程的北京戶口和珍貴的“應屆生身份”。

但陳路那時并沒有多想。他只知道，有些選項必須采用排除法。

從單位離職后，陳路進入一家校友建立的創業公司，度過了一段自由快樂的職場時光。但冥冥之中，他總是不甘心。后來，陳路得知碩士階段的室友正在申請博士，于是便抱著背水一戰的心態和他一起申請了博士。出乎意料的是，他收到了好幾位導師拋來的橄欖枝。最終，陳路選擇回到人大，回到曾經的碩導身邊。因為他知道，有件事情一直在等他畫上句號。

2020年夏天，陳路重返校園。彼時，對于兩年前沒能復現的那篇“開山之作”，陳路摩拳擦掌，下定決心要搞出個結果。開學后，陳路把自己關在實驗室，又悶頭研究了3個月。為此，他甚至自費購買了一臺實驗設備。

中國人民大學，2020年秋。受訪者供圖

還是沒有效果。陳路的信念趨于崩塌，他整晚整晚睡不著覺。如果說碩士階段是因為經驗不足、不夠專注做不出來，現在又全身心投入3個多月，卻依然不見起色，到底怎么了？

“像我的同學們，哪怕他們是做一個新領域，快的話也就兩三個月就可以把實驗做出來，甚至論文都寫好了。而我，前前后后整了一年半。”陳路深夜獨自躺在床上，百思不得其解，“就算別人比我聰明4倍，我也付出了4倍的努力，卻連最基本的實驗都做不出來。為什么？”

突然，一個念頭不受控制地冒了出來：

“那篇文章該不會是假的吧？”

關于假的論證

第一作者世界頂尖名校畢業、出身著名教授實驗室，論文被奉為領域內“開山之作”，甚至榮獲Interspeech2020的“Best Student Paper Award”……怎么看，這些都是可信的強大背書。但除這些“title”之外，周路實在找不出其他能夠驗證其真實性的有力證據。“打假”，成了唯一的選項。

很快，陳路就想好了驗證思路。“驗證實驗有沒有造假，思路實際上非常簡單，甚至沒有任何技術含量。”他不好意思地撓撓頭。

相比利用語音生成詞向量，在AI領域還有一種相對成熟的詞向量產生途徑，叫做“文本詞向量”。陳路懷疑，這篇論文提供的“語音向量”方法根本不成立，作者是用“文本向量”做的數據。

他對《中國科學報》講述了自己的驗證思路。

首先，在語音中存在同音異義詞。例如“ate”和“eight”這兩個單詞，在發音上非常相近。對于論文作者所提出的模型而言，輸入一致，輸出結果就必定一致。因此，兩個同音異義詞的輸出結果也一定會非常相近。相反，文本的相似性則會非常低。陳路取了一些同音異義詞向量組，對其做了相似性概算，發現和用文本向量得出的結果幾乎一模一樣。

“這也能解釋他的實驗效果為什么那么好了，就是用文本做的。”

此外，陳路還對文章中語料的詞表構成做了核查。“語音語料在預處理過程中相較文本語料多了一個音頻切分過程，這個過程并不完美，使得最后得出的詞匯構成發生變化，不像文本那般一一對應，這意味著最后得出的詞匯數是有損的。”

陳路發現，文中的詞表似乎并不符合語音處理的一般邏輯。于是，他開始嘗試用文本作為語料，輔助一些特定處理規則，驗證會不會得到與文中相同的詞匯數。“最后我還真找到了他是怎么處理的。”陳路用這種文本處理方法得到的詞數，竟然與作者發布的數量完全相同！

當然，陳路也聯系過作者。事實上，他在2018年初次接手該復現工作時，就郵件聯系過Yu-An Chung。當時，陳路抱著虛心請教的態度，向作者列出了自己在實驗中遇到的種種問題。Yu-An Chung回復郵件很及時，對陳路進行了指導。兩人有來有往，甚是友好。

做過相似性和詞匯數比對后，陳路出于穩妥考慮，還切換了一個“小號”，用一個外國人的假名字給Yu-An Chung發去了郵件，希望他能夠提供代碼作為參考。意外的是，Yu-An Chung竟爽快地發來了代碼。陳路抱著最后一絲希望，重新用作者提供的代碼，嚴格按照作者的實驗步驟，卻依然無法實現文章中的效果。

事已至此，陳路基本在心里定了案——原文絕對有問題。但迫于博士畢業的壓力，陳路無法繼續全力投入這項“打假”工作，他必須做出其他更漂亮的成果，先讓自己順利畢業。

接下來的一年多時間，陳路便將精力全部投入在新課題上。直到2022年下半年，才得空重新回歸“打假”。他將完整的復現過程整理成報告，這時身邊也開始出現一些勸阻的聲音。

同學勸陳路，這種工作耗時耗神，又不具備什么技術創新點，無論對做學術還是找工作而言，都“不好用”。

但陳路不想草草了事。在這件事情上，他耗費了整整4年。讀研之初，他滿懷希望，對女友許下承諾：“碩士畢業前我要把語音向量搞出來，然后去找個算法方面的工作！”他看起來像位即將出征的騎士，身邊有著最崇拜自己的小公主。“那時，我打心眼里認為這項研究是‘偉大且富有價值’的。”

等他真正拿到“結果”，已是4年后。而所謂的“結果”，也并不是想象中那般堂皇、閃耀，充滿氣概。

這是陳路最難捱的4年，也是實現自我蛻變的4年。他發現，在很多研究中，特別在AI這種瘋狂進擊的前沿領域，很多人早已不在意一項工作是否做得扎實、做得沒有漏洞，只在乎它有多“漂亮”，跑得有多快。

他對標準產生了懷疑。“做科研有時候越fancy越好。而我其實更像一個工程師，做工程無所謂fancy與否，一個小漏洞都能決定其是否成功。”

為了給自己的4年畫上一個完整的句號，陳路果斷將自己的復現報告公布在了arXiv預印本網站上。公布前，陳路再一次給第一作者Yu-An Chung及通訊作者發去了郵件，詢問能否解釋一下自己的復現結果。“我想再給他一個機會。”但發出的郵件卻石沉大海。

反常的沉默在陳路的意料之中，這進一步印證了他的判斷。

意外之喜

報告出現在預印本網站后，有很多來自全世界各地的研究人員對陳路表示感謝。他們和陳路一樣，都是苦苦復現原論文中的實驗卻沒有結果的人。陳路的報告讓一些人恍然大悟，避免在這個也許根本不成立的研究方向上，投入更大的“沉沒成本”。

在預印本網站收獲正向反饋后，陳路決定投稿。投出前，陳路和導師做了全面的討論，“多次論證我是否會誤傷對方，但最后討論的結果是‘不會’。”出于關心，導師也曾勸陳路：“以后還要在一個圈子里混，這種事情要慎重。”

可陳路鐵了心要投。為了給自己一個說法，也為曾陪伴自己許久、最終遺憾分開的女友。“我心里下定決心，不管能不能投中，至少我要投十個會議，不給自己留遺憾。”

2023年2月，陳路驚喜地收到了ICASSP2023的接收通知。這篇論文需要做poster報告，地點在希臘。但由于距離太遠，陳路沒去成。

ICASSP2023會議

“我印象比較深刻的是最后ICASSP的評委主席也給了意見。他說這篇報告盡管在學術上沒有提供什么比較創新的想法，但它是一項非常有價值的工作，能夠幫助反思我們之前取得的一些結果。”陳路說。

他將投稿結果更新在知乎原帖的開頭，帖子瞬間爆了。熱度最高的留言是這樣說的：

“我個人非常appreciate這樣的工作，這種發現可以讓很多人避免進坑，不覺得你浪費了四年。我感覺你這幾年的失敗讓你有這個結論，遠比搞出兩三個成功的算法對學術界更有意義和影響力……”

事實上，陳路的這項工作的確為他帶來了意外之喜。帖子被更多人看到后，有位來自微軟的資深研究員向他拋來了橄欖枝，為他提供了一份含金量很高的實習；博士畢業前不久，一家新興AI公司的負責人也找到陳路，稱對他所做的工作非常欣賞，并提供了一份漂亮的offer。

微軟亞洲研究院。受訪者供圖

在整個過程中，還出現過一個宿命般的小插曲。2023年6月，陳路的文章被ICASSP2023接收后，曾收到過一封來自臺灣的郵件。

對方自稱是臺灣大學李宏毅教授實驗室的一名學生。他向陳路透露，他們實驗室有好幾位同學都曾嘗試復現過Yu-An Chung的那篇論文研究過程，皆一無所獲，甚至還有一人因此差點畢不了業。陳路的文章發表后，實驗室有同學將他的文章放入meeting的排程中，李宏毅本人還為此寫下“這篇太勁爆了！一定要有人來講一下”的批注。同學講解完畢后，李宏毅還激動地表示他曾經也復現失敗，有很多人因此受害等。

“您的文章讓我們實驗室為之震撼，我們很佩服您有這樣的勇氣與決心通過完整實驗將整件事情公諸于世。”對方在郵件中寫道。

陳路回復：“我現在感覺，這篇文章還是有意義的。”

沒錯。因為，真相比一切都重要。

（文中陳路為化名）

參考鏈接：

arXiv鏈接：https://arxiv.org/abs/2209.10791

知乎來源：https://zhuanlan.zhihu.com/p/568280879?utm_psn=1775837834060181504