Nature解密類腦計算，人類未來需要一張藍圖

　　與日俱增的算力需求下，現代計算系統能耗也越來越高，很難作為可持續的平臺支持人工智能技術的未來發展。這一能源問題很大程度上源于傳統數字計算系統采用經典馮·諾依曼結構，即數據處理和存儲需要在不同地方進行；而在人腦中，數據處理和存儲在同一個區域完成，且大規模并行。生物學的靈感啟發了類腦計算，神經形態系統可以處理非結構化數據、完成圖像識別、對噪聲和不確定數據集進行分類、并參與建構更優的學習和推斷系統，有望從根本上改變處理信號和數據的方式，無論是在能源效率方面，還是在處理現實世界的不確定性方面。然而，目前對神經形態計算的關注和投資遠遠落后于數字人工智能和量子技術，該如何發揮神經形態計算的潛力？近期發表于 Nature 的文章認為，類腦計算亟需一幅宏大藍圖。

　　研究領域：類腦計算，神經科學，人工智能

　　論文題目：

　　Brain-inspired computing needs a master plan

　　論文鏈接：

　　https://www.nature.com/articles/s41586-021-04362-w

　　摘要

　　類腦計算（Brain-inspired Computing，或譯作“腦啟發計算”）向我們描繪了一幅美好的愿景：按照根本不同的方式以極高的能源利用效率處理信息，并且能夠處理人類正在增速產生的越來越多的非結構化與噪聲數據。要想實現這樣的愿景，我們亟需一張宏圖，在資金、研究重點等方面提供支持，將不同的研究團體協調地聚集在一起。昨天，我們在數字技術上如此走過；今天，在量子技術上一如既往；那么明天，在類腦計算上所做的是否也應如此？

　　背景

　　現代計算系統能耗過高，不能作為可持續的平臺支持日益應用廣泛的人工智能技術的發展。我們僅僅關注了速度、準確度、每秒并行操作數等功能，而忽略了可持續性，特別是在基于云的系統（Cloud-based Systems）的例子中。瞬間獲取信息的習慣讓我們忘記了實現這些功能的計算機系統會帶來怎樣的能源和環境消耗。例如，每次谷歌搜索都有數據中心的支持，而這樣一個數據中心每年大約使用200太瓦時（terawatt）的能量，預計到2030年能耗還將增加一個數量級[1]。無獨有偶，在高端人工智能系統中，以DeepMind引以為傲的、能夠在復雜策略游戲中擊敗人類專家的 AlphaGo 和 AlphaGo Zero 為例，它們需要數千個并行處理單元，每個單元的功率大約200瓦，遠超人腦的約20瓦[2]。

　　盡管并非所有數據密集型運算都用得上人工智能和深度學習，我們仍然需要擔心應用越來越廣的深度學習所帶來的環境成本。此外，我們還應考慮包括物聯網（Internat of Things, IoT）和自主機器人代理（Autonomous Robotic Agents）等不需計算密集型深度學習算法的應用，減少其能耗。若能耗需求過高，需要接入無數設備來運行的物聯網也就無從談起。分析表明，激增的算力需求遠超摩爾定律（Moore's Law）帶來的提升，算力需求翻倍現在只需要兩個月（圖1a）[3]。通過智能架構和軟硬件協同設計的結合，我們正在取得越來越顯著的進步。以NVIDA的圖形處理器（Graphics Processing Units, GPU）為例，其性能自2012年已經提高了317倍，遠超摩爾定律的預言（圖1b），盡管與此同時，處理器能耗從25W增長到320W。研究與開發階段不凡的性能提升（圖1b，紅色部分）昭示著我們可以做得更好[4-5]。但遺憾的是，單靠傳統的計算解決方案無法滿足長期需求。當想到大多復雜深度學習模型驚人的高訓練成本時，這種遺憾尤其明顯（圖1c）。因此，我們需要新的出路。

圖1：算力需求迅速增長。(a) 展示了在過去的40年中計算能力需求的增長，算力統計單位是petaFLOPS?days：直到2012年，計算能力需求每24個月就翻一番，仍然是符合摩爾定律的增速；然而最近已經縮短到大約每2個月。不同顏色表示不同的應用領域[3]。(b) 展示了過去五年中人工智能硬件效率的提高：最先進的解決方案使計算效率提高了300多倍，研究和開發的解決方案有望進一步改進[22-24]。(c) 則展示了自2011年以來人工智能模型培訓成本與日俱增。

　　能源問題很大程度上源于數字計算系統處理數據和儲存數據是在不同地方，也就是支撐數字計算系統的經典馮·諾依曼結構（von Neumann Architecture），這種結構決定了處理器要在移動數據上花費大部分的時間和能源。幸而生物學所帶來的靈感給我們指了一條新的出路——在同一個區域完成儲存與處理，以一種完全不同的方式編碼信息，或者直接對信號進行操作，并采用大規模并行，這將在方框1中展開論述。其實，能源利用的高效和高級功能的行使可以兼得——我們的大腦就是明證。當然，關于我們的大腦如何做到兼得這二者，還有太多需要探索的奧秘。我們的目標并非僅僅簡單模仿生物系統，而是要向過去幾十年中神經科學與計算神經科學的重大進展當中找到出路。我們對大腦的了解已足以用來激發靈感。

　　生物學的啟示

　　在生物學中，數據存儲并非獨立于數據處理，比如人腦——主要是神經元和突觸——以大規模并行和適應性的結構行使這兩種功能。人腦平均包含1011個神經元和1015個突觸，消耗大約20瓦功率；而一個相同大小的人工神經網絡的數字模擬消耗7900千瓦[6]。這六個數量級的差距無疑是對我們的挑戰。大腦直接以極高的效率處理噪聲信號；這與傳統計算機系統中時間和能源消耗巨大的信號-數據轉換和高精度計算形成鮮明對比，即使是最強大的數字超級計算機對于大腦也是望塵莫及。因此，類腦計算系統（另譯作神經形態計算）有望從根本上改變我們處理信號和數據的方式，無論是在能源效率方面，還是在處理現實世界的不確定性方面。

　　當然，這個想法的產生在科學發展歷程中也是有跡可循的。“神經形態”（neuromorphic）一詞描述的是模仿生物神經系統部分功能的設備和系統，在20世紀80年代末由加州理工學院的卡弗·米德（Carver Mead）創造[7-8]。靈感來自于過去幾十年的工作，將神經系統建模為等效電路[9]，并構建模擬電子設備和系統，以提供類似的功能。