哥倫比亞大學工程師直接將腦電波轉換成語音

　　將腦電波直接轉換成語音是實現大腦-計算機交互的關鍵一步，同時也給予了有言語交流障礙的人巨大的希望。

　　哥倫比亞神經學工程師創造了一個系統，該系統可以將腦波轉化為可理解的語音。通過監控人類的大腦活動，該技術可以清晰地重現人們所聽到的單詞。這一突破利用了語音合成器和人工智能的強大功能，為計算機與大腦的直接通信提供新的途徑，也為幫助有交流障礙的人（如患有肌萎縮側索硬化癥（ALS）或正在恢復的中風人士）重新與外界溝通奠定了基礎。

　　該研究得到了美國國立衛生研究院（DC014279），皮尤慈善信托基金和皮尤生物醫學學者計劃的支持。這些研究結果于2019年1月29號發表在科學報告。

　　哥倫比亞大學的腦行為研究所首席研究員，該論文的資深作者Nima Mesgarani博士說：“語言溝通使我們與我們的朋友，家人和我們周圍的世界密不可分，這也是人們因事故或疾病等意外突然進入一個無聲的世界而變得很消極的重要原因。”他還提到 “從今天的研究成果來看，我們已經證明了，通過正確的技術，這些人的想法可以重新被大家解讀和理解。”

　　這將改變如今的游戲規則。它將讓任何有溝通障礙的人，都有可能重新接觸周圍的世界。

　　幾十年的研究表明，當人們說話甚至想說話時，大腦中都會出現明顯的活動模式。 當我們傾聽某人說話或想傾聽時，也會出現明顯（而且可識別）的信號模式。專家們試圖記錄和解碼這些模式，在未來，你的思想不會被隱藏在大腦里，而是可以被翻譯成口頭語言。

　　未來要實現這一偉大設想著實具有挑戰性。

　　早期Mesgarani博士及其他人解決腦部信號的工作主要集中在分析頻譜圖的簡單計算機模型上，這些頻譜圖是聲音頻率的視覺表示。但由于這種方法未能產生類似可理解的語音，所以Mesgarani博士和他的團隊，包括論文的第一作者Hassan Akbari，才轉向聲碼器。這是一種計算機算法，經過人們談話的錄音訓練后，可以合成語音。

　　哥倫比亞工程公司電氣工程副教授的Mesgarani博士說“這和Amazon Echo，Apple Siri回答語音問題的技術相同。” 為了教聲碼器解釋大腦活動，Mesgarani博士與猶太保健集團神經科學研究所的神經外科醫生，這篇文章的共同作者，醫學博士，Ashesh Dinesh Mehta合作。Mehta博士治療癲癇患者，研究人員對其中必須定期接受手術的患者進行了測試。Mesgarani博士說：“與Mehta博士合作，我們讓已經接受腦部手術的癲癇患者聽取不同人說的句子，同時我們測量了大腦活動的模式。 也通過這些神經模式訓練了聲碼器。”

　　研究人員要求同一批患者聽到講述0到9之間數字的發言者，同時記錄了通過聲碼器運行的大腦信號。由聲碼器產生的并且可以轉化成這些信號的聲音被神經網絡分析和整理，神經網絡是一種模仿生物大腦中神經元結構的人工智能。

　　最終結果是一個機器人背誦一系列數字的聲音。為了測試錄音的準確性，Mesgarani博士和他的團隊要求個人聽取錄音并報告他們聽到的內容。

　　Mesgarani博士說：“我們發現人們可以在75％的時間內理解并重復這些聲音，這遠遠超過以往任何測試。” 將新記錄與早期基于頻譜圖的測試進行比較時，可懂度明顯提高。 “敏感的聲碼器和強大的神經網絡代表了患者最初聽到的聲音，具有驚人的準確性。”接下來，Mesgarani博士和他的團隊計劃測試更復雜的單詞和句子，他們希望對一個人講話或想說話時發出的大腦信號進行相同的測試。最終，他們希望他們的系統可以成為癲癇患者所使用的植入物的一部分，將佩戴者的思想直接轉化為文字。

　　“在這種情況下，如果佩戴者想說'我需要一杯水'，我們的系統可以接受這種想法產生的大腦信號，并將它們轉化合成口頭語言，”Mesgarani博士說。 “這將改變如今的游戲規則。它將讓任何有溝通障礙的人，都有可能重新接觸周圍的世界。”