自動化所提出三大“人機交互”新模型

　　面對十萬個為什么，計算機能否”謙虛謹慎”、準確回答？多輪口語對話中，計算機如何順利接招，延續話題？順著說、倒著說，首尾齊發，當突破人類極限時，高質量機器翻譯呼之欲出……中國科學院自動化研究所研究者們提出三種“人機交互”新模型：任務型對話中，計算機也有了”自知之明”；人機多輪交互時，進一步強化語境記憶，提升了計算機口語理解能力；在生成文本時，首尾開弓的同步雙向序列生成模型實現了質量與效率雙贏。

　　1、任務型對話新框架：“謹慎”回答，“虛心”學習

　　人機對話技術旨在讓機器像人一樣自由對話與交流，是當前學術界和產業界的一大研究熱點。任務型對話是人機對話的一種，在現實生活中應用最為廣泛，可以通過對話實現某個特定任務。目前，任務型對話系統基本采用“一次設計、永久使用”的方式，默認機器可以回答所有問題，但是現實生活中卻很容易遇到機器無法響應用戶需求的情況。而此時，機器在不知道正確答案的前提下，還是會給出一個錯誤回答。

　　針對這個問題，自動化所自然語言處理團隊博士生王唯康、副研究員張家俊、研究員宗成慶和出門問問公司合作提出了一種基于增量學習的任務型對話系統設計框架（Incremental Dialogue System），該框架讓機器擁有了“自知之明”，在答案不確定時會主動向人工求助，并從人工回答中不斷學習和完善。

　　該框架可以度量當前系統回復的不確定性程度。當系統有較高置信度時，機器給出回復；反之，由人工介入對話過程。同時，人工介入所產生的數據會反饋到模型中擴展系統的候選回復集合并優化模型參數，使得系統上線后還能不斷地學習以適應未考慮到的情形。在模型的不確定性程度較低時人工會介入對話，這一特性使得系統會在出現差錯之前咨詢人工的建議，所以會極大程度地降低給出不合理回復帶來的風險。另外，不確定性估計模塊還能讓系統以更少的數據量達到更好的性能。

　　相關研究成果發表于自然語言處理頂級學術會議ACL-2019（Weikang Wang, Jiajun Zhang, Qian Li, Mei-Yuh Hwang, ChengqingZong and Zhifei Li. Incremental Learning from Scratch for Task-Oriented Dialogue Systems. ACL-2019）。

　　2、多任務學習新模型：多輪交互，溝通無阻

　　近年來，在學術界評測與工業界需求的推動下，任務型對話系統中的口語理解逐漸成為一個活躍的研究領域，并取得相當的進展。目前的口語理解大多對單輪話語進行解析，但是對話通常是人機多輪交互。已有些研究表明，對話歷史對當前用戶話語的解析有重要作用，但這些研究關于對話歷史的建模還很初步，沒有充分挖掘對話歷史信息。

　　鑒于此，自動化所自然語言處理團隊首先定義了對話邏輯順序推斷（DLI）這一輔助任務，然后通過將DLI與SLU共享記憶編碼與記憶檢索模塊，在多任務學習框架下進行聯合優化，進而強化語境記憶表示，提升多輪口語理解的性能。

　　DLI任務不需要額外的標注數據且在模型解碼階段不占用額外的計算時間。另外，DLI任務對于多任務學習中的損失權重較為魯棒。研究者們在兩個數據集上的實驗表明：多種多輪口語理解模型都能夠從該研究提出的方法中得到提升，并且在語義槽識別任務上提升顯著。

　　相關研究成果發表于自然語言處理頂級學術會議ACL-2019（He Bai, Yu Zhou, Jiajun Zhang and Chengqing Zong. Consolidation for Contextual Spoken Language Understanding with Dialogue Logistic Inference. ACL-2019）。

　　3、同步雙向序列生成模型：首尾開弓，質效雙贏

　　正常人說話都是從第一個詞到最后一個詞順著說，極少數人可以從最后一個詞到第一個詞倒著說。不管是順著說還是倒著說，計算機都很容易實現。最近，自動化所自然語言處理團隊構建了一種同步雙向序列生成模型(SBSG)，不僅刷新了計算機“說話”的極限，也挑戰了人類說話的極限：同時順著說和倒著說，到中間點結束。該算法可應用于機器翻譯和自動摘要，不僅顯著提升了文本生成的效率，還改善了生成文本的質量。

　　當前，基于編碼器-解碼器結構的序列生成模型廣泛應用于自然語言生成任務，例如神經機器翻譯、摘要生成等。這種框架通常采用自回歸的方式，即從左到右依次生成目標語言單詞，該方式有兩個缺點：(1)當輸出句子變長時，這種自回歸解碼過程非常耗時，其解碼時間和生成序列的長度成線性關系；(2)解碼時只能依賴已經生成的歷史序列，缺乏未來信息的指導。

　　自動化所提出的同步雙向序列生成模型(SBSG)采用了從目標序列的兩端往中間的生成方式，每個時刻可以生成兩個單詞，相對于傳統序列生成模型而言，理論上可以減少近一半的解碼時間。其次，SBSG模型使用了一個交互雙向注意力網絡來實現從左到右解碼(L2R)和從右到左解碼(R2L)之間信息的相互利用，即一種解碼模式可以利用另一種解碼模式生成的序列來指導當前的解碼。不同于生成質量出現顯著下降的非自回歸模型，SBSG模型相比于當前最優的自回歸的Transformer模型在序列產生質量和解碼速度上都得到了顯著提升。

　　相關研究成果發表于人工智能頂級學術會議IJCAI-2019（Long Zhou, Jiajun Zhang, ChengqingZong and Heng Yu. Sequence Generation: From Both Sides to the Middle. IJCAI-2019）。