百度CTO王海峰：文心大模型的底色和成色

原文地址：http://news.sciencenet.cn/htmlnews/2023/10/510573.shtm

10月17日，“百度世界2023”在北京舉行。

百度公司董事長兼首席執行官（CEO）李彥宏用一個多小時發布了“基礎模型全面升級”的文心大模型4.0，展示其在理解、生成、邏輯和記憶等能力上的顯著提升，并介紹了新搜索、新地圖等10余款被大模型重構的業務應用。他對此次升級大加稱贊，稱其綜合能力“與GPT-4相比毫不遜色”，并斷言“大模型將開啟一個繁榮的人工智能（AI）原生應用生態”。

文心大模型從3.5升級到4.0，僅用4個多月。這期間，文心大模型是怎樣變強的？

在緊湊的發布環節，百度首席技術官（CTO）王海峰僅用20分鐘就解讀了文心大模型4.0背后的“助推劑”。一開場，他就用一句話解答了大家的疑惑：“團隊基于更大的算力、更多的數據和更強的算法，訓練出來規模更大、效果更好的文心大模型4.0。”

王海峰在百度世界2023解讀文心大模型4.0背后的技術創新。百度供圖

升級：算力更大、數據更多、算法更強

王海峰坦言，文心大模型4.0的基本技術架構與文心大模型3.0和3.5版本一脈相承，升級是基于在多個關鍵技術方向上進一步的創新突破。

首先是訓練環境更優了。文心大模型的基礎模型訓練離不開飛槳深度學習平臺。王海峰透露，百度技術團隊將飛槳平臺運行在萬卡算力上，并通過集群基礎設施和調度系統、飛槳框架的軟硬協同優化，支持文心大模型的穩定高效訓練。

其次是數據質量更好了。沒有好的數據做“養料”，大模型難為無米之炊。王海峰說，技術團隊建設了多維數據體系，形成了從數據挖掘、分析、合成到標注和評估的閉環，以充分釋放數據價值，大幅提升模型效果。

然后是訓練算法更強了。百度技術團隊通過打磨訓練算法，“保證模型更好地與人類的判斷和選擇對齊”。在既往技術創新的基礎上，技術團隊基于有監督精調、偏好學習、強化學習等技術進行多階段對齊，保證模型更符合人類價值觀。同時，技術團隊還使用可再生訓練技術，通過增量式的參數調優，進一步節省訓練資源和時間，加快模型迭代速度。

價值對齊，多多益善。為提升大模型的準確性，文心大模型4.0在輸入、輸出兩個階段都運用了知識點增強，具體做法為在輸入端對用戶輸入的問題進行理解，并拆解所需的知識點，然后在搜索引擎、知識圖譜、數據庫中獲取準確知識，最后把得到的知識組裝進prompt送入大模型；輸出端會對大模型的輸出進行“反思”，從生成結果中拆解出知識點，然后利用搜索引擎、知識圖譜、數據庫及大模型本身進行確認，修正偏差。

王海峰介紹，借鑒《思考，快與慢》一書闡述的智能系統，百度研制了智能體機制。在基礎大模型的基礎上，百度又進一步研制了反應慢但更理性、更準確的“系統2”，讓大模型像人一樣理解、規劃、反思，一定程度上將思考過程白盒化，在完成復雜任務的同時，還可以在環境中持續學習、自主進化。

成色幾何？用戶“用腳”投票

8月31日，知識增強大語言模型“文心一言”面向全社會開放。僅40多天時間，文心一言的用戶規模就已達到4500萬，開發者5.4萬，場景4300個，實現應用825個、“插件”超過500個。

插件是一種特殊的AI原生應用，其門檻最低，也最容易上手，能讓開發者、創業者快速加入到生態中。個人及企業的數據、能力或應用，都能快速變成AI插件，增強大模型的能力，讓大模型更實用易用。比如，大模型接入權威法律數據的“智能法律助手”能為用戶提供法律咨詢的相關建議，簡歷助手插件則能幫用戶一鍵生成簡歷模板。

一個月前，百度上線了“靈境”插件平臺，目前已有2.7萬開發者申請入駐，覆蓋法律、職場、學習等多個領域。

“可以看到，用戶使用文心一言的場景非常廣泛，從歡迎詞、演講稿到企劃書、說明書，再到流程圖、思維導圖等，涵蓋了工作和生活的方方面面。”王海峰說。

使用文心一言的不僅有企業、個人用戶，還有國家隊。

在百度世界2023現場，中國游泳協會授予百度“中國國家跳水隊人工智能合作伙伴”稱號，感謝百度基于文心一言對跳水隊員在訓練中的“技術指導”。中國國家跳水隊教練、奧運“五金王”陳若琳，奧運冠軍全紅嬋、陳芋汐、王宗源來到大會現場，分享了文心一言等百度大模型技術在智能訓練上的作用。例如，升級后的中國國家跳水隊AI輔助訓練系統可以實時打分、拆解動作、分析過往成績數據等，以開發個性化、專業化的訓練方案。

王海峰解讀，今年，百度基于文心一言等AI技術對中國國家跳水隊AI輔助訓練系統進行了全面升級，通過從海量數據和知識中學習，掌握了豐富的跳水知識，不僅能理解和執行教練與運動員的復雜指令，及時提供準確信息，還可以對動作實時打分、精準量化分析，提供有價值的指導信息，幫助運動員精雕每招每式。

中國國家跳水隊與百度的淵源由來已久。陳若琳在現場表示，雙方從2019年就開展深入的技術合作，攜手走過了東京奧運會、福岡世錦賽、杭州亞運會等多個大賽賽程，目前正在備戰明年的巴黎奧運會。

在列舉文心大模型的應用場景時，不能忽略一個特殊的應用場景——華人尋根。

許多華人在尋根之旅中受限于只言片語的家族記載和晦澀難懂的地方志，尋根夢難圓。通過與國家圖書館合作，百度文心大模型大量學習古代方志和家譜數據，并進行文字識別和理解，同時綜合應用地點、職業、飲食、重要事跡等信息的知識圖譜，在文心一言上線了“古文今問”服務。用戶只需輸入尋根信息，就能得到相應的線索反饋。在國家圖書館地方志和文心大模型的幫助下，許多人可以找到自己的“根”。

據了解，文心一言“古文今問”服務首批已上線福建福州、廈門、泉州、漳州等區域的數據，未來仍將持續更新。王海峰表示，文心一言助力國家圖書館館藏文化資源活化，有望讓更多人受益于知識和科技的力量。

“星河計劃”：再培養500萬大模型人才

AI技術加速進步，在千行百業的應用越來越深入。在這個過程中，AI人才不可或缺。王海峰說，2020年，百度提出“5年為全社會培養500萬人工智能人才”的目標，截至目前，培養的人才數量已完成目標的84%。

他說，當下大模型成為AI發展的熱點方向，會進一步加速產業變革，AI人才培養也需與時俱進。現場，王海峰發布了百度人才培養新舉措——“星河計劃”。