科學家研究認為：大數據時代“小數據”仍有未來

原文地址：http://news.sciencenet.cn/htmlnews/2023/7/504106.shtm

大數據時代，“小數據”有未來嗎？武漢紡織大學數理科學學院江健教授團隊與美國密歇根州立大學Guo-wei Wei教授團隊共同研究認為：“有！”相關研究成果日前在線發表在國際期刊《化學評論》上。

  ?

小數據面臨的挑戰分析。受訪者供圖

由于數據獲取中存在時間、成本、倫理、隱私、安全等各種限制，小數據在科學和工程研究中非常常見。江健認為，大數據處理與分析一直是過去十年到現在的焦點，小數據集及其挑戰卻很少受到關注，盡管在機器學習和深度學習研究中它們在技術上面臨更為嚴峻的挑戰。

他告訴《中國科學報》，總體而言，小數據集挑戰往往因數據多樣性、填補、噪聲、不平衡和高維度等問題而變得更加復雜。幸運的是，當前大數據時代的特點是機器學習、深度學習和人工智能的技術突破，使得數據驅動的科學發現成為可能，而許多為大數據開發的先進機器學習技術無意中為小數據集問題提供了解決方案。因此，過去十年中，針對小數據挑戰的機器學習和深度學習取得了重大進展。

該論文總結并分析了包括化學、生物、醫藥、材料在內的分子科學中小數據集挑戰的幾種潛在的新興解決方案。論文詳細地從邏輯回歸、K近鄰、支持向量機、核函數學習、隨機森林和梯度提升樹，以及更先進的技術，包括人工神經網絡、卷積神經網絡、U-net、圖神經網絡、生成對抗網絡、長短期記憶、自編碼器、transformer、遷移學習、主動學習、基于圖的半監督學習，以及基于物理模型的數據增強技術等方面討論了這些方法的最新進展，并對小數據集挑戰未來發展趨勢做了相關展望。

武漢紡織大學數理科學學院相關負責人介紹，江健一直從事藥物設計、復雜網絡建模等交叉學科方面的研究，其所在的計算系統生物學團隊近5年來，在單細胞測序數據分析、藥物設計及發現、蛋白質結構預測和高光譜圖像處理等研究領域取得了一系列研究成果。