如何讓模型算法僅利用“少量、低質量的有標注樣本”，就能實現或接近“大量、高質量、有標注數據的樣本”所能達到的結果，是小樣本學習領域的關鍵問題。為此，之江實驗室前沿基礎研究中心博士后邵帥為小樣本計算研究提出了新思路。
他的思路是，通過利用已有基礎模型資源的優勢潛力，實現下游任務中小樣本測試數據的精準分類。近日，該成果以《面向開放世界小樣本學習的基礎模型聯合協作方法》（Collaborative Consortium of Foundation Models for Open-World Few-Shot Learning）為題，在計算機視覺領域國際頂級會議AAAI上發表。
邵帥認為，直接使用凍結參數的基礎模型能夠為計算研究節約大量時間和資源。他將那些已經訓練好的基礎模型比作“一本編纂好的百科全書”，將使用基礎模型技術解決小樣本學習問題的過程比作“查閱百科全書中與小樣本學習相關的部分”。只是，是“從第一頁開始慢慢找”還是“通過目錄或全文檢索”，不同檢索方式帶來的計算效率天差地別。
為此，邵帥等人提出了基于多種基礎模型的協作方法（CO3），探索利用CLIP、GPT-3、DINO 和DALL-E四種基礎模型開啟智能計算。
基礎模型協作方法流程圖。圖源：論文
在具體操作過程中，他們設計了四類模塊分別用于模型間整合銜接。邵帥介紹說，首先將小樣本數據輸入標簽校正塊（LC-Block），通過設計原型結構，來對數據進行降噪。隨后將校正數據送入數據增強塊（DA-Block），增強模型在數據上的泛化性能，以獲得更豐富的訓練數據。接著，將清理后的原始數據和擴充數據輸入特征提取塊（FE-Block），得到數據的文本和圖像特征。最后將這些特征與特別設計的TeFu-Adapter相融合調優，進一步減輕噪聲標簽對模型的影響，增強該方法的魯棒性。
目前，該方法已在多個數據集上進行了大量實驗，證明了CO3的可行性，甚至在數據質量越低、可用標簽樣本越少的情況下表征能力越優秀。如在噪聲比例從0.0到1.0的區間范圍內，每類只有一個可用標簽樣本的情況下，CO3在數據表達的準確性上能穩定達到62%以上，兼顧了性能與成本效率的平衡。
“如何彌合小樣本學習技術與現實應用的縫隙，是我們下一階段要攻克的難題。”邵帥表示，在之江實驗室智能算力基礎設施的支持下，未來他將進一步提高小樣本學習算法的泛化能力，探索回應真實世界的需求場景，不斷突破智能計算的極限。
注：相關文章發表于The Thirty-Eighth AAAI Conference on Artificial Intelligence (AAAI-24)，為會議發表論文