今年26歲的邵鎮煒，體重僅有25公斤。他從小患有“進行性脊肌萎縮”，雙手幾乎只有大拇指和食指能動，終身與輪椅為伴。
邵鎮煒
邵鎮煒并沒有就此向命運屈服。2021年9月，他以計算機技術與科學專業第一名的成績獲得推免資格，保送至杭州電子科技大學（以下簡稱杭電）攻讀博士研究生，研究方向為多模態數據處理和人工智能技術；2023年6月，他的研究成果發表于計算機視覺領域國際頂級學術會議CVPR 2023，被認為是國內多模態大模型領域最早入局者之一。
“今年年初做了一個輕量級多模態大模型的系列，相關論文還在審稿階段。”近日，邵鎮煒在接受《中國科學報》采訪時表示，“我最近在探索多模態大模型的高效計算相關的技術。如今大模型的技術迭代非常快，我得抓緊時間做出新的成果才可能收獲新的成績。”
曾“超越”谷歌旗下的多模態大模型Flamingo
2022年，邵鎮煒開始研究多模態大模型。當時，大模型研究還沒有現在這么火熱，和多模態信息（文本、圖片多種形式的組合數據）理解相關的大模型研究則更少。邵鎮煒所在課題組當時就預見了多模態大模型技術的前景，并開展了相關探索。
邵鎮煒說：“我們走的是模型輕量化路線。不僅可以降低計算成本，還能讓大模型的應用場景更加豐富。但輕量化并不是一件容易的事。因為要縮小參數量，很可能會導致模型能力也就是智能水平的下降。”
為了解決技術上的難點，邵鎮煒經常在電腦前一坐就是十多個小時，啃論文、查資料，嘗試不同的技術方案。在常人看來簡單的敲擊鍵盤動作，對邵鎮煒來說并不輕松。他只有大拇指和食指相對靈活，并且每打幾十個字，就要停下來休息一會兒。盡管如此，他還是堅持每天工作十個小時以上。
“當時，我已經覺得這個課題可能要做不下去了，但邵鎮煒說再給他一兩周的時間，他想嘗試一個新的方法。結果成功了。”邵鎮煒的導師、杭電計算機學院教授余宙告訴《中國科學報》，“我們這項研究成果最終在CVPR 2023上發表，受到了全球同行的關注。”
邵鎮煒是這篇論文的第一作者，他提出的Prophet方法為GPT等大規模語言模型裝上“眼睛”。
論文中的方法框架圖
他解釋道：“我們的研究提出了名為Prophet的多模態大模型框架。通過在大型語言模型上游引入一個可學習的、任務相關的視覺問答小模型，來更好地激發大模型的潛力。比如可以發給系統一張杯子的圖片，然后問系統這個圖片里的杯子是什么材質、什么品牌，系統都會作出符合常識的回答。”
當時，在基于知識的視覺問答任務的評測數據集上，邵鎮煒提出的Prophet方法的準確率超越了谷歌Deepmind旗下的大模型Flamingo，同時該方法所需的計算資源也大大減少。
公開的視覺問答數據集的評測榜單
如今，邵鎮煒繼續在多模態大模型研究領域深耕，希望有新的收獲。
1998年，邵鎮煒出生在杭州市濱江區。
在邵鎮煒1歲時，父母發現原本可以踮腳抓東西的兒子竟然站不穩了。他們帶著孩子四處求醫，但情況并沒有好轉。邵鎮煒被確診為“進行性脊肌萎縮癥”，肌肉萎縮四肢無力，肢體一級殘疾，沒有生活自理能力。
父母沒有就此放棄對兒子的培養。他們相信，上天在關上一扇門的同時，必定會打開一扇窗。年幼的邵鎮煒雖然不能像同齡孩子那樣四處跑跳，但是他堅持和同齡的孩子一起上學接受教育。他發現學習可以讓自己忘記身體的缺陷。
因學習成績優異，邵鎮煒被保送進入杭州市長河高級中學讀高中，并在高一前的那個暑假自學了微積分的相關知識。上中學以來，邵鎮煒發現自己很喜歡物理。2017年高考，邵鎮煒考了644分，以第一名的成績被杭電計算機專業錄取。
這里還有一個小插曲。因高考幾分之差，邵鎮煒與浙江大學失之交臂。但在杭電的求學過程中，他發現杭電計算機學院也許是最好的安排。學校不僅給他一間單獨的寢室，還安排在一樓，方便媽媽陪讀，并安裝了斜坡一直通到他寢室門口。
邵鎮煒告訴《中國科學報》：“在輔導員老師的號召下，杭電的同學們自發地為我組建了一支志愿者團隊。他們每學期都會提前統計好我的課表，接力協助我上下樓梯，提供力所能及的幫助。這讓我非常感動。”
一路走來，導師余宙是邵鎮煒科研路上的重要領路人。
“本科期間，我參觀了余老師的實驗室，并跟著余老師連續上了3年的課程。后來在申請保研的時候，余老師還推薦我去浙江大學試試，并給了我一顆定心丸——‘如果浙江大學進不了，我們實驗室永遠歡迎你’。”邵鎮煒說，“如果去浙江大學讀研，因為科研方向不同，可能我就沒有機會接觸前沿的人工智能，也不可能投入大模型的研究。實際在我第一次見到余老師的時候，命運就已經作出了安排。”
本科期間，邵鎮煒連續6次獲得學校一等獎學金、兩次浙江省政府獎學金、一次國家獎學金，并在各項比賽中多次取得成績，爭取到保送的機會。2023年，邵鎮煒還擔任了杭州第四屆亞殘運會火炬手。
邵鎮煒擔任火炬手
在杭電計算機學院，邵鎮煒是很多同學口中的“大神”。在進入杭電前，邵鎮煒就獲得了很多來自社會的關注和贊許，甚至被冠以“中國版霍金”“少年版霍金”等稱號。對此，邵鎮煒明確說：“我不是中國版霍金，我只想努力做好自己。”
在采訪中，邵鎮煒向《中國科學報》介紹了很多跟計算機、大模型相關的知識，并耐心給記者做了相關的知識科普。他和所有計算機技術的研究人員一樣，希望自己的研究可以做出更多領先的技術和成果，希望這些技術和成果可以幫助更多人。
2023年12月，邵鎮煒負責的“望問醫聊——基于醫療大模型的數字家庭醫生”項目，獲中國國際大學生創新大賽（2023）金獎。他從自身提出的Prophet方法出發，希望能夠利用好大模型技術，助力智慧醫療和健康生活走進千家萬戶。
邵鎮煒（前排中間）與老師同學們
再過兩年，邵鎮煒將迎來博士畢業找工作。他希望可以繼續留校做喜歡的科研，但他也坦言自己距離留校的要求還有差距。他需要繼續努力，才更有能力和實力去講述一個完整的科研故事。
*本文圖片均由受訪者提供