南開團隊利用人工突觸器件實現大腦的感官功能

近日，國際著名學術期刊《自然—通訊》刊登了南開大學電子信息與光學工程學院最新研究成果。研究人員利用柔性人工突觸器件，開發了一種神經形態運動感知系統，在硬件層面成功實現了大腦的多感官整合功能，并獲得了卓越的運動感知性能。

南開大學電子信息與光學工程學院蔣博士程鵬為第一作者，南開大學電子信息與光學工程學院教授徐文濤為唯一通訊作者。

大腦的多感官整合（Multisensory Integration）是一個將不同模態感官信息進行結合的過程，它對于許多生物完成決策、記憶和學習等任務至關重要。例如，大黃蜂可同時利用視覺和觸覺信息識別物體，星鼻鼴鼠在無光的地下環境中可使用觸覺-嗅覺協同感知的方式對周圍環境進行探索。多感官整合機制依賴高度并行且異步觸發的神經元和突觸網絡。

為了實現神經元和突觸的基本功能，以人工突觸（Artificial Synapse）為代表的神經形態器件獲得了廣泛關注與研究。然而，與大腦多感官整合機制相關的高級功能尚未在神經形態器件和系統中得到開發與驗證。此外，如何從硬件層面在神經形態器件中實現認知智能與類腦智能也是亟待解決的難題。

南開團隊設計的神經形態運動感知系統，受啟發于獼猴的多感官整合與空間感知機制。獼猴的自主運動會在內耳前庭和視網膜中激發慣性信號和光流信號等運動信息，大腦皮層的特定區域對編碼為尖峰脈沖的運動信息進行處理識別后，最終通過整合不同感官模態的信息實現空間感知。在神經形態運動感知系統中，加速度計和陀螺儀分別獲取加速度和角速度信號，這兩種運動信號被編碼為兩個脈沖序列，隨后傳輸至高性能突觸晶體管進行處理。兩個脈沖序列的相關性和時序關系影響器件的突觸可塑性，從而影響器件輸出。通過對脈沖平均發放率和突觸器件輸出電流進行判定，實現運動信號的分類識別。

a 哺乳動物具有的視覺神經/前庭神經跨模態運動感官系統；b 基于柔性突觸晶體管的神經形態運動感知系統  南開大學供圖

通過光流傳感器、振動觸覺傳感器、慣性傳感器構建傳感單元，該系統可檢測視覺、觸覺、加速度覺多個模態的傳感信息。對來自不同類型傳感器的信息進行有效整合，可顯著提升運動識別的準確率（高于94%），并且實驗結果符合大腦的感知增強效應。此外，得益于可穿戴、高集成、低功耗的特點，該系統可進一步貼附于人體皮膚或裝載于小型無人機，完成人體動作識別、無人機飛行模式識別等復雜任務。

據介紹，該系統模擬了哺乳動物大腦中感官線索整合的過程，并結合傳感信號的脈沖編碼策略、突觸器件的脈沖整合特性、突觸電流信號的時空識別方法實現了類腦水平的運動感知功能。該工作將神經形態認知智能與大腦多模態感知機制相結合，對于類腦器件、仿生電子的開發具有重要的指導意義，可潛在應用于移動機器人、智能可穿戴設備、人機交互等領域。

論文鏈接：https://doi.org/10.1038/s41467-023-36935-w