馬斯克出手，打造“地表最強AI訓練集群”

以10萬塊英偉達“H100”液冷GPU構建的算力集群，將會產生怎樣的洪荒之力？近日，SpaceX和特斯拉的創始人埃隆·馬斯克在社交平臺發文稱，如此規模的超級算力集群正部署在美國田納西州孟菲斯市的“xAI孟菲斯超算中心”。

要指出的是，“H100”是英偉達專為處理大型語言模型數據而開發的芯片，每塊芯片價格約在3萬美元左右。這也就意味著，馬斯克此次籌建的超算中心僅基礎芯片的成本就高達30億美元。

10萬片英偉達H100 GPU被同時部署在一臺超級算力集群上是什么概念？可以通過一組對比數據來看：OpenAI用來訓練GPT-4的算力系統，擁有2.5萬塊英偉達“A100”GPU；排名全球超算TOP500榜單第一的美國超算Frontier，算力核心中的GPU數量為3.78萬片；微軟的云系統集群“Eagle”也“只有”1.44萬塊英偉達H100 GPU。也就是說，如果比拼人工智能算力規模，xAI孟菲斯超算中心將是當之無愧的世界第一。

馬斯克還提到了10萬塊H100 GPU的連接方式：通過單一RDMA（Remote Direct Memory Access，即遠程直接內存訪問網絡）連接。這種方式可以把數據直接從一臺計算機傳輸到另一臺計算機，無需雙方操作系統的介入，具有高吞吐、低延遲的網絡通信等特點，非常適合在大規模并行計算機集群中使用。

據報道，目前孟菲斯工廠已有3.2萬塊GPU在線，xAI孟菲斯超算中心尚未滿負荷運行。預計隨著今年第四季度供電系統的建設完成，屆時這臺“巨獸”將會全速運行，對xAI旗下的大模型（Grok3）開展訓練。

這樣一臺龐然大物，同時也將是“能源巨獸”。據孟菲斯電力、天然氣和水務公司的首席執行官估計，xAI孟菲斯超算集群每小時使用的電力最高會達到150兆瓦，相當于10萬戶家庭的用電量。除了用電之外，xAI孟菲斯超算集群預計每天至少需要超過3700噸水來散熱。對此，當地市民已經開始擔憂，擔心能源供應和水資源會出現斷供情形。

在當前技術趨勢下，大模型訓練正演變成為算力“軍備”的競逐。據了解，OpenAI和微軟也在計劃部署更大規模的超算，一項名為“星際之門”算力規劃，預計GPU數量將史無前例地達到百萬級，成本高達千億美元，計劃在2028年推出。

版權聲明：