2月11日,Science以長文形式發表了題為《序列工作記憶在獼猴前額葉表征的幾何結構》的研究論文。研究由中國科學院腦科學與智能技術卓越創新中心(神經科學研究所)、中科院靈長類神經生物學重點實驗室王立平研究組、上海腦科學與類腦研究中心副研究員閔斌和北京大學生命科學學院唐世明課題組合作完成。該研究中,科學家訓練獼猴記憶由多個空間位置組成的序列,并利用在體雙光子鈣成像技術記錄獼猴大腦前額葉皮層的神經元活動。研究人員發現神經元以群體編碼的形式表征了序列中的每一個空間位置,并在這些表征中發現了類似的環狀幾何結構。該研究推翻了經典序列工作記憶模型的關鍵假設,為神經網絡如何進行符號表征這一難題提供了新見解。
人類大腦無時無刻不在處理序列信息,無論是語言溝通、動作實施還是情景記憶,均涉及對時序信息的表征。序列的執行需要一定時間,大腦需要在應用時序信息之前記住整個序列。例如,在問路時記住指路人給出的一系列方向指引,在學習新的舞蹈動作時記住老師演示的一連串動作模式。在這些情況下,不僅單個內容需要被記住,它們之間的順序也不能混淆。認知心理學家們早在19世紀初就開始思考序列信息的表征方式,序列信息編碼也被認為是人類語言句法結構的前提,機器學習領域對序列翻譯的探索催生了如今的Transformer模型。但是,人們對于具有時序信息記憶的大腦神經編碼機制仍知之甚少。
獼猴是演化上最接近人類的模式動物,其認知能力、大腦的結構與功能相比于其他模式動物更接近人類,是研究時間序列等復雜高級認知功能的最佳模型。因此,為了探究時序記憶編碼問題,研究人員訓練獼猴記憶由多個位置點組成的空間序列(圖1)。在任務中,獼猴面前的屏幕上會依次閃現三個不同的點,獼猴需要在幾秒鐘之后將這些點按之前呈現的順序匯報出來。在匯報前的幾秒記憶保持期內,空間序列的信息便以工作記憶的形式被暫時儲存在大腦中。為了記錄大腦神經元群體在獼猴進行任務時的活動狀態,研究人員對工作記憶的大本營——外側前額葉皮層進行了雙光子鈣信號成像。鈣信號可以反映神經元的脈沖放電活動,而序列信息表征的關鍵就在記憶期神經元群體的活動模式之中。
大腦如何在記憶期內同時表征序列中多個信息?研究人員猜想獼猴的大腦中也有一塊“屏幕”,獼猴可以把出現過的點記在這個屏幕上。如果三個點同時在記憶保持期內顯示在了這個屏幕上,每個點的次序該如何體現?獼猴的大腦里面是否會同時存在三塊不同的屏幕?這樣每個屏幕只需要記下一個點的信息,并且屏幕之間不會互相干擾。
研究人員分析了鈣成像獲得的高維數據,發現可以在高維向量空間里面找到每個次序的信息所對應的二維子空間(subspace),即找到其對應的“屏幕”(圖2)。在每個子空間內,不同的點所對應的空間位置與真實視覺刺激的環狀結構保持一致。不同次序所對應的子空間接近相互正交,說明大腦確實用到了三塊不同的屏幕來表征序列信息。
為了進一步探究大腦是否總是用相同的這幾塊“屏幕”記憶不同類型的空間序列,研究人員對數據做了解碼分析,即運用機器學習方法訓練線性分類器來區分不同次序上的空間信息。例如,用獼猴正確應答時的神經元群體活動訓練解碼器,可以在部分做對的序列里面取得較好的解碼效果。研究結果提示了用于編碼次序的“屏幕”是穩定通用的。
研究還發現,不同次序的子空間之間共享了類似的環狀結構,而環的半徑大小會隨次序的增加而減小。一個可能的解釋是,次序靠后的信息所分配到的注意資源更少,導致對應的環變小、區分度降低。該結構也對應了序列記憶的行為表現,例如,日常生活中如果記憶的內容越多,越往后的信息便更容易出錯。該發現也可總結為在群體水平的空間信息編碼幾何結構受時序調制的性質。該性質不完全適用于單個神經元水平,而單神經元活動的增強調制正是經典序列工作記憶模型的關鍵假設,提示了序列記憶的編碼應更加關注群體神經元性質。
研究首次在群體神經元水平闡釋了序列工作記憶的計算和編碼原理,也為神經網絡如何進行符號表征的難題提供了新思路。20世紀80年代,人工智能領域研究者提出張量乘積的概念來實現神經網絡對符號結構的表征,但其如何在神經網絡層面自然涌現未被很好地解決。序列工作記憶的神經表征正好對應了將該符號表征由對應次序的子空間嵌入到高維向量空間中,同時支持了下游神經網絡對符號結構信息的線性讀取。
研究工作得到中科院、國家自然科學基金委員會、科技部和上海市的支持。