近日，中國科學院西安光機所在高光譜數據智能處理算法與視覺大模型應用研究方面取得重要進展，相關成果發表于《IEEE地球科學與遙感技術雜志》。
與傳統光學遙感相比，高光譜遙感圖像具有數百個獨立光譜波段，能夠更精確地識別地表物質。然而，標注樣本稀缺長期以來嚴重制約了其實際應用。現有研究多采用少樣本學習范式，雖在一定程度上緩解了樣本不足的問題，但由于缺乏對跨域光譜信息的一致性約束，加之數據稀缺導致模型規模難以擴展，其跨域泛化能力仍然受限。
針對上述問題，研究團隊創新性地提出了一種基于視覺大模型的高光譜少樣本分類框架SpectralDINO。該框架通過源域光譜對齊模塊統一各數據域的光譜信息，增強模型學習跨域通用特征能力。
團隊同時設計了一種新型低秩適應（Low-Rank Adaptation, LoRA）模塊，并使用交替訓練策略對視覺大模型進行微調，通過雙混合子空間的設計，解決了原始LoRA無法區分跨域數據的結構性問題。
不同方法在Pavia University數據集上的分類結果。西安光機所供圖
實驗顯示，該方法有效提升了模型從少量樣本提取特征的泛化能力，提高了模型在高光譜少樣本分類任務中的表現，在多個公開數據集上超越現有先進方法并實現了最佳分類準確率，為環境檢測、精準農業等遙感應用提供新的技術路徑。
相關論文信息:https://ieeexplore.ieee.org/document/11192579