英特爾高管：AI模型將逐步從云端向邊緣端轉移

云端處理時延長、數據傳輸成本高，存在數據安全擔憂。英特爾高級副總裁Sachin Katti表示，AI向邊緣端滲透，大模型或逐步從云端向邊緣端轉移。

英特爾高級副總裁兼網絡與邊緣事業部總經理Sachin Katti

“我們預計AI將更多地在邊緣端部署和應用，以處理本地數據。隨著時間的推移，AI模型可能會逐步從云端向邊緣端轉移。”7月24日，在2024英特爾網絡與邊緣計算行業大會上，英特爾高級副總裁兼網絡與邊緣事業部總經理Sachin Katti表示，當前的AI主要在云端運行，隨著邊緣設備在本地產生大量數據，將所有數據傳輸至云端的成本相當高昂，向邊緣計算演進是大勢所趨。

數據安全、實時性推動AI從云端走向邊緣端

Sachin Katti表示，人類正處于AI輔助時代，AI幫助人類更高效地工作，在AI輔助時代之后，人類將邁入AI助手時代，“開車經過快餐店，AI智能體可以提供點餐服務，企業的工作流也可以用AI完成。在遙遠的未來，我們可能會發現，智能體之間能夠交互，就像人類一起合作一樣，提供部門級的解決方案。”

Sachin Katti表示，今天的AI增長主要集中在云上，但向邊緣計算演進是大勢所趨，“過去，我們講到的AI基本上關于機器視覺或以時間序列為基礎的自動化技術。但現在的邊緣AI已經從邊緣的機器視覺逐步進展到大語言模型、生成式AI等的邊緣應用。英特爾就要不斷地提供相關能力，加速在邊緣端部署生成式AI以及大語言模型。”

除了邊緣數據的傳輸需求，數據安全、實時性是推動AI從云端走向邊緣端的重要考慮。英特爾市場營銷集團副總裁、英特爾中國網絡與邊緣及渠道數據中心事業部總經理郭威表示，一方面，企業存在將數據放在云端的擔憂，另一方面，邊緣計算有助于解決實時性要求。

“今年基本上我們一半以上的客戶都在探索基于邊緣大模型的落地解決方案。”英特爾副總裁兼網絡與邊緣事業部中國區總經理陳偉表示，從邊緣計算的落地來看，模型規模并非越大越好，而是應該適合市場應用場景的實際需求，“邊緣計算的部署需要考慮很多因素，比如時延、可實用性、微觀數據的可調優化以及信息安全等。”

邊緣調優受限于數據量

“邊緣的特點就是碎片化。”英特爾中國區網絡與邊緣事業部首席技術官、英特爾高級首席AI工程師張宇說，不同用戶對于算力、性能有不同要求。邊緣調優的常見挑戰是數據量限制，一個學校或一個工廠真正能用來做訓練的數據量很小。不同企業、不同學校的數據也不同，汽車零部件生產工廠和機加工工廠遇到的問題不同，不能用統一模型檢測產品缺陷，必須用企業特定數據來訓練模型。

與此同時，張宇表示，“做訓練需要做標注，讓機器知道你到底在關注什么。一個工廠里真正操作AI功能設備的往往是生產線上的工人，他們在生產過程中哪有精力做標注？”因此在邊緣調優時需要用自動化的標注手段，在數據量較少的情況下完成標注。“在邊緣端，最終用戶追求的是業務部署，而不是技術方案。用戶對業務的要求是方便、易于部署，部署后易于管理，這往往是客戶的痛點。”

郭威表示，解決實際的行業問題僅僅依靠模型訓練仍然不夠，推理能力的提升訴求在今年尤為明顯。大模型落地必然涉及從端到邊緣、再到云端的算力平衡分布，“如果只是垂直大模型的標準應用，大模型主要部署在云端。但由于行業落地的需要，必然會促使AI算力向邊緣和端側分布。”

Sachin Katti表示，邊緣端的主要工作負載是推理和持續學習。有時在邊緣端部署后發現效果不及預期，或隨著一段時間的運行，就需要對原有的模式進行微調。

邊緣端究竟需要多少算力？Sachin Katti表示，算力與能耗存在正相關性。在邊緣端部署設備，能耗大約200瓦，云端部署的能耗在1-2千瓦，而數據中心的單層機架能耗或高達100千瓦。如果將整個數據中心的能耗累加起來，可能會達到50-100吉瓦。在算力或能耗較高的情況下，冷卻效率和冷卻能力是必須考慮的關鍵變量。由于大規模數據和算力會產生大量熱量，“我們目前采用液冷技術對機群有效降溫。現有的液冷技術已經能夠成功為100千瓦的機群降溫，未來有望擴展到300千瓦。因此，限制算力還有一個非常重要的因素，就是你是否有足夠的能力有效進行整體環境的降溫。”