國產千卡集群訓練優化技術AdaPipe發布

　　近日，在美國圣迭戈市舉行的計算機體系結構重要國際會議ASPLOS上，由鵬城實驗室智能計算研究部、清華大學計算機系教授陳文光團隊自主研發的國產千卡集群訓練優化技術AdaPipe正式發布。

　　近年來，大規模語言模型在對話、問答和文本總結等多種應用場景中展現出卓越性能，受到了學術界和工業界的廣泛關注。然而，隨著大規模語言模型逐漸朝著更多的參數量和更長的文本進行演化，對計算設備的存儲和處理能力也提出了更高要求。

　　當前，傳統的流水線并行訓練方法在處理百、千億參數的模型時會產生存儲和計算負載不均衡的現象，直接影響了資源利用率和整體訓練效率；同時，由于現有國產算力卡存在高速內存容量和通信能力不足的情況，使得這一問題顯得更加突出。

　　為解決上述問題，陳文光團隊開發了AdaPipe技術，該技術根據具體的模型和硬件參數，通過細化重計算的粒度來優化重計算策略，并考慮到訓練各階段計算量的差異，進一步對重計算和流水線切分策略進行優化。該技術不僅將存儲資源的利用率最大化，還確保不同計算節點上的計算負載得以平衡分配，訓練效率顯著提升了。

　　該研究顯示，AdaPipe支持GPU、NPU主流加速卡，該技術被應用在“鵬城云腦II”的國產千卡集群上訓練多種模型（如Llama-2，GPT 3等）時，實現了20%以上的性能提升。此外，AdaPipe在“鵬城·腦海”通用大模型（200B）4K窗口3456卡的實際訓練中，取得了10%以上的效率提升。這些案例將為未來萬卡國產集群上的優化訓練提供技術儲備和經驗參考。

　　上述技術的研發得到國家自然科學基金和鵬城實驗室的支持和資助。

　　相關論文信息：https://doi.org/10.1145/3620666.3651359