四川黃龍野生大熊貓為爭奪交配權變“功夫熊貓”

在過往的幾年里，人工智能（AI）預訓練大模型（以下簡稱大模型）的參數規模之爭愈演愈烈：

由埃隆·馬斯克等人共建的人工智能非營利組織OpenAI于2020年發布的GPT-3的參數量達到1750億，是其前代的100多倍；距離GPT-3問世不足一年，谷歌重磅推出Switch Transformer模型，將參數量提升到1.6萬億，創造了人類歷史上首個萬億級語言模型。在我國，相關方也在推出超大規模智能模型，如北京智源研究院發布的“悟道2.0”，參數規模來到1.75萬億，再次創造“全球之最”。

這些大模型不僅需要大量硬件、算力，其電力等運維成本也數以億計。大模型何以成為AI行業“內卷”的新風向？付出如此之大的成本，大模型的“正確打開方式”是什么？

突破AI學習的數據“天花板”

預訓練大模型，顧名思義，即預先訓練好的模型，它可以幫助人們降低AI模型創建和訓練的成本。但訓練 AI模型需要數據，且從理論上講，數據越多、質量越高，模型效果就越好。當前，算力越來越高、算法越來越強，順理成章地，能夠吞吐更大數據量的大模型成為 AI 前進的新方向。

一般而言，要訓練一個AI模型，往往要采用“有監督的學習”，也就是說，需要先做好數據標注，然后將帶標注好的數據“投喂”給訓練模型。但大模型訓練不必如此，它可以做“自監督學習”。換言之，大模型訓練所需的數據，可以不必是做好標注的數據。

“應用自監督學習的方法，其實解決了數據的天花板問題。也就是說，數據標注的數量和質量將不再是人工智能應用的關鍵瓶頸了。”百度集團副總裁、深度學習技術及應用國家工程研究中心副主任吳甜告訴《中國科學報》，在有監督學習中，數據的標注數量和質量是模型訓練的關鍵瓶頸；而通過一些任務的設計，大模型可以在海量的無標注數據上進行規律和知識的學習。

吳甜舉例說，百度文心ERNIE大模型學習的就是互聯網上海量的人類語言數據，包括文章、段落、著述等等——就像通識教育一樣，這些數據本身沒有被標注。學習之后，大模型就具備了一定的基礎能力。此后，大模型再通過“開小灶”——在特定任務和不同應用場景中做少量任務數據的遷移學習，實現知識增強，就能進一步具備輔助或支撐該任務或行業的智能水平，進而應用于更多場景，在各行各業開花結果。

2021年12月，百度發布了具有2600億參數規模的產業級知識增強大模型——鵬城-百度·文心大模型（基于百度ERNIE 3.0升級）。文心大模型出爐后通過遷移學習，就在60多個經典的NLP（自然語言處理）任務中取得世界領先效果。

突破大模型落地應用的兩個鴻溝

5 月 20 日，百度WAVE SUMMIT 2022深度學習開發者峰會如期而至。吳甜在峰會上提出，2022年是大模型產業落地的關鍵年。而要做好落地，需要解決的關鍵問題是，“前沿的大模型技術如何與真實場景的方方面面的要求相匹配”。

在受訪中，吳甜告訴《中國科學報》，這句話背后其實是要求大模型要跨越兩大鴻溝：一是大模型和應用場景之間存在的鴻溝，這是新技術和應用之間須彌合的部分；二是大模型自身要填補的鴻溝，這是大模型作為一項工具要有“自降門檻的覺悟”。

吳甜說，為了解決這個關鍵問題、跨越兩大鴻溝，百度從三個方面開展了工作。

第一項工作是，建設更適配各類應用場景的模型體系。

在WAVE SUMMIT 2022上，百度圍繞大模型產業級與知識增強兩大關鍵詞，百度公布了全新的飛槳文心大模型全景圖，并一口氣發布了10個全新的大模型。這10個大模型連同此前的大模型，既包含學習了足夠多數據與知識的基礎大模型，也有面向常見AI任務專門學習的任務大模型，以及引入行業特色數據和知識的行業大模型，共同組成了文心大模型“基礎大模型—任務大模型—行業大模型”的三級體系。吳甜說，它們之間的關系好比是“接受了基礎教育的高中生—具有一定職業技術能力的職專生—具有相關專業學習經歷的大學生”，可以為社會各種需求所用。

第二項工作是，開發更有效的工具、發展更高效的方法論來讓大模型發揮作用。

“‘好馬配好鞍’， 要想馬兒跑得好，鞍也要足夠好。”吳甜對記者說，為了讓開發者方便、快捷地使用文心大模型，百度充分考慮了大模型落地應用的全流程問題，配套建設了大模型整套的工具和平臺，用以進一步降低應用門檻，端到端、全方位地發揮大模型效能。

據吳甜介紹，這些工具和開發套件提供開發者“更低成本地進行數據準備”“更高效靈活的精調工具”“高性能的部署方案”“60 多個開箱即用的預置基礎任務”4方面的能力，幫助開發者降低成本、降低代碼量，“讓模型插上工具平臺的‘翅膀’。除了工具和套件，百度還提供文心大模型API和內置了文心大模型能力的EasyDL和BML開發平臺，把門檻進一步降低，讓更多的人使用”。

第三項工作需要社區參與，即建設開放的生態，以生態促創新。

百度還新發布了基于文心大模型的創意與探索社區——旸谷社區，讓更多人群（非技術）零距離感受到大模型的魅力和應用創新潛力。“我們希望越多的場景、越多的人來使用，把問題和需求反饋給文心大模型體系，這能帶來更大的價值。”吳甜說，人工智能系統一定要有反饋，如此方能不斷地正向進化。

向“普惠AI”進發

關心大模型如何更快走向實用的，一定不會忽視百度此次發布的的兩個行業大模型：國網-百度·文心大模型和浦發-百度·文心大模型。

這兩個大模型背后，是百度與國家電網、浦發銀行等行業頭部企業進行的聯合研發與創新。他們通過更好地融合通用數據和行業特有知識，有效提升大模型在電力、金融領域的行業任務應用效果，讓大模型逐步走向實用化。

這或許是百度首席技術官、深度學習技術及應用國家工程研究中心主任王海峰在本次峰會上所提出“普惠 AI”的一個新開端。如果把大模型對海量數據的學習看作是提煉原油的過程的話，那么國家電網、浦發銀行相當于是，攜手百度把提煉出的成品油注入了他們的業務引擎。

3年前，王海峰在首屆WAVE SUMMIT深度學習開發者峰會上提出，深度學習具有很強的通用性，并具備標準化、自動化和模塊化的工業大生產特征，正推動人工智能進入工業大生產階段。3 年里，百度借助產業級深度學習開發平臺“飛槳”和文心大模型，正將這一預判變成現實。特別地，在大模型降低了應用門檻之后，“普惠 AI”的底氣才顯得越來越足。