深度學習“見頂”不等于AI寒冬

　　 盡管新的算法模型在推動AI向前發展，但并不意味著它們的前景可以預見，也不意味著深度學習“不可救藥”。

　　在當前的第三次人工智能（AI）浪潮之中，深度學習算法被認為是迄今為止“最為重大的AI革命”。此說法或許有所夸大，但深度學習對這一輪AI的大爆發而言的確功不可沒。然而，最近以來，關于深度學習算法是否已經“見頂”“觸底”的討論逐漸增多，“AI或將再度進入寒冬”的說法也一度甚囂塵上。果真如此嗎？

　　《中國科學報》記者通過檢索和采訪了解到，類似上述說法可前溯至2018年6月初，多家行業媒體在移動互聯網平臺上轉發了作者信息顯示為“Koh Young Technology 公司首席AI 科學家Filip Piekniewski”的文章《AI的寒冬將來臨》。該文從深度學習“聲勢已大幅減弱”“不具有擴展性”“自動駕駛事故不斷”三個角度得出結論：“深度學習將大幅降溫”“預測AI的冬天就像預測股市崩盤——不可能準確地預測何時發生，但幾乎可以肯定的是，它會在某個時點發生。”

　　最近討論“深度學習是否觸底”的文章，則來自于一家名為“Towards Data Science”的媒體平臺。1月中旬，一篇作者署名為Thomas Nield、題目被譯作“歷史總是在重演，AI寒冬或再來”的文章再提“AI寒冬”，論據再次指向“深度學習的天花板”。在此文中，作者認為“我們的確需要降低期望并停止宣傳‘深度學習’的能力了。否則，我們可能會發現自己陷入另一個AI 寒冬”。

　　被推向神壇的深度學習，怎么突然“生”出這么多缺陷？

　　深度學習確有先天缺陷

　　相比盲目甩鍋“自動駕駛事故不斷”，人工智能科學家、地平線創始人兼首席執行官余凱在指出深度學習在自動駕駛領域的局限之前，首先肯定其貢獻，“深度學習對于自動駕駛的作用，行業內已一目了然”。

　　“現在業內強調的是，深度學習已不是唯一。”余凱在接受《中國科學報》采訪時表示，在自動駕駛領域，深度學習的局限在于，僅在感知方面發揮作用，而對于異常情況處理等方面的應用效果并不理想。

　　不僅是自動駕駛，在近兩年大熱的“AI+醫療”領域，深度學習算法也遭遇了難以再進一步的困境。

　　“現在深度學習解決臨床問題的基本思路，沒有太大突破。”科大訊飛醫療信息技術有限公司總經理陶曉東告訴《中國科學報》，這波人工智能過度依賴數據，忽略了很多數據之外的信息，“在醫療領域尤其如此”。

　　“許多醫學理論，比如基本的解剖信息都沒有用在深度學習的框架里。”陶曉東認為，這導致AI不能在數據不完全的情況下從更多維度逼近真相，“你不可能有像ImageNet那樣地訓練數據”。區別于上述行業應用中的問題，南京大學計算機科學與技術系主任、人工智能學院院長周志華認為從學術理論本身出發，深度學習（或深度神經網絡）有其固有缺陷。

　　“神經網絡有很多缺陷。”周志華在2018年的一次主題為“關于深度學習一點思考”的分享中明確提到，“凡是用過深度神經網絡的人都知道，要花大量的精力來調參數，因為這是一個巨大的系統。這會帶來很多問題，首先調參數時，經驗是很難共享的；這帶來第二個問題——不管是科學研究、技術發展，都希望結果可重復，而在整個機器學習領域里面，深度學習的可重復性是最弱的。”

　　他舉例說，經常會遇到這樣的情況：有一組研究人員報告了一個結果，但其他的研究人員很難重復——哪怕用同樣的數據、同樣的方法。

　　可以不必是深度學習

　　深度學習能夠成功，對以下三個先決條件的滿足不可忽視：更多的數據、更強力的計算設備以及很多有效的訓練技巧——這幫助人們利用高復雜度的模型，深度神經網絡恰恰就是一種便于實現的、高復雜度的模型。

　　周志華解釋說，這背后的邏輯是，當選擇使用一個深度模型的時候，得到的結果容易“過擬合”，因此就要使用足夠大的數據來訓練模型，使其得到的“規律”符合一般規律；而這不但需要訓練技巧，還要考慮到如此做會導致系統計算開銷非常大，因此要有強有力的計算設備，如GPU等。

　　“深度神經網絡最本質的東西到底是什么？答案可能是表示學習的能力，這是真正重要的。”周志華認為，有了深度學習之后，人們不再需要手工設計特征，把數據從一端扔進去、另外一端出來，中間所有的特征完全通過“學習”來解決，就是所謂的特征學習或表示學習，“這和以往的機器學習技術相比是一個很大的進步，我們不再完全依賴人類專家去設計特征了”。

　　“表示學習或特征學習最關鍵的是什么？逐層的處理。”因此，周志華認為，這也是深度神經網絡得以成功的內因：先是逐層處理，第二是“要有內部的特征變換”。“當我們考慮到這兩件事時，會發現其實深度模型是一個非常自然的選擇。有了這樣的模型，我們很容易可以做上面兩件事。”

　　算法模型能夠逐層處理、具備特征的內部變化，加之有足夠的復雜度，在周志華看來是深度神經網絡“能夠成功的關鍵原因”。從這個角度思考，周志華認為，如果滿足這幾個條件，就不一定只用深度神經網絡，“神經網絡是可選方案之一，只要同時做到這三點，別的模型也可以”。

　　“雖然神經網絡很流行、很成功，但是，在很多的任務上性能最好的，不見得都是深度神經網絡。”周志華舉例說，比如備受關注的Kaggle 競賽（全球最大機器學習競賽社區），有各種各樣的真實問題，訂票、商品推薦等，許多獲勝者并不是深度神經網絡，而是類似于隨機森林這樣的模型。

　　“靠神經網絡獲勝的往往就是在圖像、視頻、聲音這幾類典型任務上，而涉及到混合建模、離散建模、符號建模的任務，神經網絡的性能比其他模型還要差一些。”周志華介紹說，他所領導的研究組提出一個“深度森林”的算法，該算法模型在許多不同任務上得到與深度神經網絡高度相似的結果，而在一些其他任務特別是跨任務的表現上非常好，可將同一套參數用在不同任務上，且該模型有自適應復雜度。

　　除此之外，記者了解到，最近涌現出的一些新的算法概念，如小數據學習、對抗網絡（GAN）、膠囊網絡技術等，也有望成為對深度學習短板的有效補充。

　　“寒冬”之說不客觀

　　值得一提的是，盡管新的算法模型在推動AI向前發展，但并不意味著它們的前景可以預見，也不意味著深度學習“不可救藥”。余凱就自動駕駛領域的應用向《中國科學報》舉例說，下一步，深度學習要基于規則方式，同貝葉斯網絡結合，“從感知到決策階段，尤其是決策層面，貝葉斯網絡規則的引入尤為重要”。

　　事實上，深度學習能夠得以如此流行，也經歷了長期的發展。周志華說，從卷積神經網絡開始出現，到這個算法真正在工業界取得巨大成效，中間經過了30 年的發展。

　　“我們其實沒有什么真正的顛覆性技術，所有的技術都是一步步發展的。今天我們有新的探索，能夠解決一些問題，但從長遠看，在經過很多年、很多人的進一步努力后，今天的探索應該是為未來技術打下一個更加重要的基礎。”周志華表示。

　　從這個視角看來，AI寒冬之說顯得毫無客觀可言，至少余凱認為如此，“‘風口’或‘寒冬’是這幾年不太真正從事人工智能的人大量參與產生的聒噪和炒作而已，真正的AI專家都知道深度學習是AI的一個重要課題，但遠非全部”。

　　深度學習及其衍生技術，是一個機器識別、仿生模態感知與機器理解能力從無到有的進步，在這個進步過程中，有大量的科技公司投注、國家與政府跟進，打開了巨大的商業想象空間以及AI與各行各業結合的可能，盡管這些技術和市場需求相比滲透率還很低，但不能因其不是滿分，就打零分。退一步講，即使深度學習不再在技術端繼續增長，要把產業潛力釋放出來，也需要一個漫長的時間周期。

　　人工智能奠基人之一、有“深度學習之父”美譽的Geoffrey Hinton作為曾經的AI寒冬親歷者，對這波“AI寒冬論”的回應更為直接。他說：“不，不會有AI寒冬。因為AI 已經滲透到你生活中了。在之前寒冬中，AI 還不是你生活的一部分，但現在它是了。”