研究人員提出基于神經元整合發放的語音識別新機制

　　基于注意力機制的端到端模型正深刻影響著語音識別技術的發展。但經典的注意力識別模型因“要對整句語音編碼后投入注意力”的特點面臨著無法支持在線（流式）識別、無法提供語音邊界時間戳等問題。

　　中國科學院自動化研究所博士董林昊、研究員徐波將脈沖神經網絡中的整合發放思想進行連續化，提出一種低復雜度并具有單調一致性的序列轉換機制——連續整合發放（Continuous Integrate-and-Fire，CIF）。CIF會對先后到來的聲學信息不斷進行整合，當整合的信息量達到識別閾值，將整合后的信息發放以用作后續識別。基于CIF的模型不僅有效地支持了在線識別、邊界定位及聲學Embedding提取，而且在兩個中文基準語音識別集（HKUST、AISHELL-2）上創造了SOTA的性能，有效地解決了目前主流注意力機制模型存在的上述問題。相關成果近期被ICASSP 2020錄用為Oral論文。

　　連續整合發放（CIF）應用于編解碼框架。在每一個編碼時刻，CIF分別接收編碼后的聲學編碼表示及其對應的權重（表征了蘊含的信息量）。之后，CIF不斷地積累權重并對聲學編碼表示進行整合（加權求和的形式）。當積累的權重達到閾值后，意味一個聲學邊界被定位到。此時，CIF模擬了整合發放模型的處理思想，將當前權重分為兩部分（如圖1所示）：一部分用來完成當前標簽的聲學信息整合（構建一個完整分布），并將整合后的聲學信息（聲學Embedding）發放到解碼器以預測對應的標簽；另一部分用作下一個相鄰標簽的聲學信息整合。該過程一直執行到編碼后序列的末尾。論文還提出了若干支撐策略來進一步精煉CIF模型的性能，如規整策略、數量損失等。

　　該研究工作在多個語音識別基準數據集上對CIF模型的性能進行了驗證，這些數據集涵蓋了不同的語種和不同的語音類型。其中，在英文朗讀數據集Librispeech上，雖然采用的輸出標簽是沒有明確聲學邊界的子詞單元，但CIF仍然獲得了有競爭力的2.86%的詞錯誤率表現（如圖2所示）。在中文朗讀數據集AISHELL-2上，由于輸出標簽間的聲學邊界較為清楚，基于CIF的模型獲得了突出的性能表現，顯著地超過了Chain模型的性能，創造了該數據集上state-of-the-art的字錯誤率結果（如圖3所示）。在中文電話數據集HKUST上，雖然語音上具有很多非正式的口語現象，而且數據集規模相對較小，但是基于CIF的模型仍然展現了良好的泛化性，創造了該數據集上state-of-the-art的字錯誤率結果（如圖4所示）。

　　CIF模型不但可以高準確度提供序列轉化結果，而且把語音認知中最重要的發音邊界進行了精確定位，為語音識別融合各種知識模型提供了新的手段和路徑。CIF將整合發放進行連續化思想可推廣應用到其它序列轉換任務中。據悉，該論文工作在研究團隊萬級小時大規模訓練數據的語音識別中，也超過了團隊目前CTC、Transformer等主流模型的已有結果，達到了最好性能，意味著該方法具有工業界大規模應用的極大潛能。