“自組織”讓“電老虎”少吃多干

云計算、大數據、人工智能等技術的快速發展和廣泛應用，讓這些領域成了“電老虎”。新思界產業研究中心的《2021年全球及中國數據中心加速器產業深度研究報告》預測，到2025年，僅全球數據中心消耗的電能將占全球總發電量的五分之一。

近日，中科院腦智卓越中心研究員徐波、蒲慕明聯合研究團隊在線發表于《科學進展》的研究，利用介觀尺度自組織反向傳播機制（SBP），在更高效率、更靈活的類腦局部學習方面取得了重要進展。該技術能在機器學習過程中，降低計算能耗的同時又不損失精度，也許能讓這些“電老虎”少吃多干。

能耗的瓶頸

人工智能在某些領域表現出巨大的優勢，比如在圍棋方面，阿爾法狗(AlphaGo) 完勝人類世界圍棋冠軍；在電子游戲《星際爭霸2》的競技中，阿爾法星際（AlphaStar）以10:1的總比分“狂虐”職業玩家。

近年來，隨著數據量越來越大、算力越來越強、大規模預訓練模型對能源的要求也越來越高。據倫敦大學學院教授David Attwell團隊對單個神經元耗能的計算，大腦的能耗約16.6瓦，對于人體而言, 大腦只需要不到20瓦的功率就可以應對復雜思考任務。與之相比，戰勝柯潔的阿爾法狗，耗電量相當于12760個人類大腦。

“預訓練模型的參數提高以后，人工智能的性能確實更強了，但能耗問題也不容忽視。”該論文第一作者、中國科學院自動化所副研究員張鐵林對《中國科學報》說，“研究者普遍認為，人工智能的表現還應更好一些。比如，進行同樣運算而消耗更少的能源。”

模擬人類大腦運行過程是人工智能的一個重要途徑，在人工智能研究領域，目前人工神經網絡中被廣泛使用的反向傳播算法（BP）采用全局優化策略，這種端到端的學習方法性能卓越，但學習過程能量消耗大，且缺乏靈活性。

“在精度不受影響的前提下，降低能耗是我們這項研究的目的之一。”徐波告訴《中國科學報》，“現在很多的算法、包括人工智能的大模型也遠未達到人腦的參數量。大腦維持這么多神經元運算，其實是非常節能的。如果我們在算法設計之初，讓機器能像人那樣去學習，也許我們的模型就不必那么大，學習訓練的時候也不會那么耗電。”

向大腦學習

“我們想借用一些生物學領域取得的進展，弄清楚大腦是怎么在低能耗的情況下高效學習的。”張鐵林說，“所以蒲慕明老師給徐波老師團隊推薦了很多算法，并保持著非常深入的合作研究。”

1997年，蒲慕明團隊在《自然》雜志發表論文，揭示了海馬體內神經元可以將長時程抑制（LTD）可塑性自組織地傳播到三個方向，分別是突觸前側向傳播、突觸后側向傳播、反向傳播，這個發現就是自組織反向傳播神經可塑性機制（SBP）。

進一步的研究證實，SBP現象具有普遍性，不僅覆蓋更多的神經區域如視網膜-頂蓋系統，還覆蓋更多的可塑性類型，如長時程增強。該機制的發生歸結于生物神經元內分子調制信號的天然逆向傳遞，被認為是可能導致生物神經網絡高效反饋學習的關鍵。

研究團隊受到該機制的啟發，對SBP的反向傳播方向（第三個方向）單獨構建數學模型，重點描述了神經元輸出突觸的可塑性可以反向傳播到輸入突觸中，可塑性的發生可以通過時序依賴突觸可塑性，也可以通過人工局部梯度調節。在標準三層脈沖神經網絡（SNN）的學習過程中，SBP機制可以自組織地完成前一層網絡權重的學習，且可以結合短時突觸可塑性、膜電位平衡等，形成更強大的SNN組合學習方法。

由于涉及前沿生物技術，有很多生物機制計算機驗證起來非常困難。

“蒲老師講完這一機制，我們讀完相關論文，剛開始覺得這個工作并不復雜。”張鐵林說，“但真正應用到模型上時卻困難重重、一籌莫展。”

張鐵林等人是搞計算機研究的，讀生物領域的論文比較難，“很多時候并不完全懂”。而且大腦中有多個關聯機制，要不要跟SBP結合？要怎么結合？神經元的突觸往前傳多少？傳給誰？有沒有什么傾向性？所有這些問題都沒有答案， 感覺“有很多缺失的信息需要去補”。

沒有標準答案，研究人員只能先結合網絡情況進行論證分析，再設置一個可優化的參數，用一些特殊的方法構建“能量函數”來約束一些變量，然后把這個機制放到脈沖網絡里去驗證。

然而經過多次嘗試，結果卻并不理想。他們只好在回過頭來重新認識“生物學規則”。隨著學習的深入，蒲慕明也建議他們做一些小實驗來模仿類似生物的小網絡。慢慢地，這種機制就逐步明確起來了。

“從科研的角度來講，要先做減法，把它的重要性弄清楚、體現出來，后面再做加法，加更多的機制、變量和條件。”張鐵林說，“目前我們只是在一些標準的簡單模型上進行了驗證。因為如果模型太復雜，會說不清楚SBP在其中到底貢獻了什么。下一步我們會在更大規模的模型上進行驗證。”

研究團隊針對性地提出一種統計訓練過程中能量消耗的新方法。在圖片分類、語音識別、動態手勢識別等多類標準數據集上，SBP機制通過組合其它可塑性機制，實現了更低能耗和更高精度的SNN局部學習。在一些人工網絡的學習中，SBP機制也可以大量的替換BP機制實現全局和局部交叉學習，在降低計算能耗同時卻不損失精度。

“自組織”的優勢

“生物智能計算的本質，很可能就是靈活融合多類微觀、介觀等可塑性機制的自組織局部學習，結合遺傳演化賦予的遠程投射網絡結構，實現高效的全局優化學習效果。”蒲慕明告訴《中國科學報》，“該工作可以進一步引導生物和人工網絡的深度融合，最終實現能效比高、可解釋性強、靈活度高的新一代人工智能模型。”

目前，反向傳播機制已經是一種優化的結果，作為一種標準模型，它基本上覆蓋了脈沖和人工網絡模型，效果也不錯。

“但其能耗和學習效率方面，還可以再優化一些，從各個尺度上再提升一下。”張鐵林說，“我們在訓練時，也采取混合式的訓練方法，一部分采用BP（人工反向傳播）的方法，一部分采取SBP（自組織反向傳播）的方法。”

研究人員認為，SBP是一類介觀尺度的特殊生物可塑性機制，具有自平衡、自組織、可傳播等特點，因此在神經網絡學習中可以展示出較好的組合優化優勢。

“人工的反向傳播算法靠整體目標函數去驅動，每次計算時既慢又耗能，特別是在網絡比較大的時候，問題就更明顯了。”張鐵林說，“如果一個算法是自組織的，它就可以像大腦一樣無監督學習，可以進行局部運算，就比較節能了。”

目前，該團隊已經在一些小型、淺層的人工網絡上做過測試。結果表明，最好的時候，可以在保持原來性能的基礎上，把能耗降到原來的21%左右。

“比如，原來需要100塊GPU去訓練，現在只需要21塊就夠了。”張鐵林說，“這在進行大模型訓練的時候就比較重要了。”

SBP只是一個開始，它對進一步深入探索類腦局部計算具有很大的啟示。

“將來還有很多和腦智卓越中心生物科學團隊的交叉合作研究。”徐波說，“相信人工智能領域未來還有很大的進步空間，這些受生物啟發的學習法則可以幫助人們更好地填補這些空白。”