高文：將訓練大模型底座面向全社會開放

·高文表示，開發大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創企業而言是一個門檻。“我們基本的想法就是用鵬城實驗室的算力、公開渠道的數據，訓練出大模型底座面向全社會開放，供研究人員、創業者使用。”

5月22日，中國工程院院士、鵬城實驗室主任高文在2023大灣區人工智能分論壇上表示，要利用鵬城實驗室的算力、公開渠道的數據，訓練出大模型底座面向全社會開放，供研究人員和創業者使用。

鵬城實驗室是中央批準成立的突破型、引領型、平臺型一體化的網絡通信領域新型科研機構，聚焦寬帶通信、新型網絡、網絡智能等國家重大戰略任務開展重大科學問題和關鍵核心技術研究。

高文表示，目前的人工智能是新一輪浪潮，ChatGPT對技術和社會發展帶來了巨大沖擊。“我們必須要應對，企業有企業的應對方案，國家也有國家的應對方案。企業動作比較快，國內有很多頭部企業都在做自己的大模型。當然能否做得比ChatGPT好那是另外一回事，至少要做。不做就什么都不會發生，做了至少有些事情會發生。”

他表示，開發大模型不是拍腦袋、喊口號那么容易，而是必須擁有算力，只有投入幾十億元甚至上百億元才能做出“像樣的東西”，但這筆資金對于高校和初創企業而言是一個門檻。目前鵬城實驗室給出的方案是投入40億元開發了E級智算平臺“鵬城云腦II”，具有100億億次的半浮點運算操作能力。他表示，“鵬城云腦II”一個月之內可以訓練出GPT-3、GPT-3.5。“我們正在啟動做下一臺機器，大概會用60億元左右做16000P這么大算力的機器。這兩臺機器加在一起，解決目前為止所有大模型的訓練都是綽綽有余的。”

解決了算力問題，剩下的就是數據和算法。“算法現在幾乎屬于公開知識，數據方面，我們準備首先用最大的能力去獲取盡可能多的數據，從公開渠道或者從購買的渠道獲取數據來訓練模型。我們基本的想法就是用鵬城實驗室的算力、公開渠道的數據，訓練出大模型底座面向全社會開放，供研究人員、創業者使用。”

高文同時提到了增強大模型技術平臺計劃，利用個人數據增強訓練出更好的模型，推動國內尤其是粵港澳大灣區新一代人工智能的發展。他表示，所謂“增強”就是數據方在保證隱私和數據安全的情況下將個人數據貢獻出來進行訓練，增強模型可能比標準模型更好更強，并且增強模型只向數據提供方提供。“當然我們有很多細節機制，后續只要大家加入這個聯盟，就會慢慢了解到這些細節機制。當然也可以提出意見、建議，讓聯盟做得更好。”