首個！百億級遙感解譯基礎模型“空天·靈眸”發布

9月21日，在第一屆空天信息技術大會上，中國科學院空天信息創新研究院（空天院）研究員付琨團隊聯合鵬城實驗室，正式發布自主研制的百億級遙感解譯基礎模型——“空天·靈眸”3.0版，這是迄今為止全球首個百億參數級空天一體遙感解譯基礎模型。

近年來，我國遙感數據獲取能力不斷增強，已進入遙感大數據時代，人工智能等新型數據處理方式也為數據服務模式的變革提供了可能。“空天·靈眸”是我國首個面向多模態遙感數據生成式基礎模型，也是首個專為遙感領域打造的行業基礎模型。自2022年首次推出后，空天院研究團隊在“基礎模型+下游任務”計算范式積累上持續探索。今年3月起，研究團隊與鵬城實驗室深度合作，基于中國算力網“鵬城云腦II”樞紐節點，采用512張昇騰910顯卡，歷時數月攻關完成了在4億張國產化多模態空天遙感數據樣本上的預訓練，基礎模型參數規模首次超過百億。

中國科學院空天院研究員孫顯表示，如果把基礎模型看作是一個機器人，那么“參數”就相當于它的“記憶細胞”和“知識細胞”。“如果參數規模小，則它能記住和處理的信息就相對有限，只能做一些比較簡單的任務。參數規模越大，這兩種細胞就越多，它就能捕捉、記憶和處理更復雜的信息，從而更加準確、精細地完成更困難、更復雜的任務。”孫顯說。

“空天·靈眸”3.0版內核工作架構是基于熱傳導，這是聯合團隊自主研發的一套小而精的原創性架構。受傳熱學物理思想啟發，聯合團隊將場景目標間視覺語義傳播建模為熱能擴散過程，從而使該架構有效突破了遙感模型推理的性能和速度瓶頸，計算速度較傳統結構模型提升2.4倍以上。

孫顯說：“‘熱傳導’的架構，吸收了物理的傳熱學原理。聯合團隊將模型運行與熱傳導作類比，將圖像也看作一個溫度場，重要的圖像區域應該保持較高的溫度，用熱傳導的計算公式來指導和推動模型進行學習。這一架構實現了模型數據學習、推理等速度的大幅提升。”例如，原來訓練1千萬張數據樣本，需要大約300多塊顯卡，現在不僅只需要三分之一的數量，處理速度還能提升約2.4倍。

“空天·靈眸”3.0版目前已表現出極為優秀的泛化解譯性能，在可見光、合成孔徑雷達、熱紅外、多光譜等多傳感器衛星數據基礎上，拓展至航空遙感飛機、無人機等不同航空平臺觀測數據的自動化、高精度解譯處理。尤其是航空大傾角成像過程中，極易出現畸變、遮擋、缺失等干擾，模型對此依然可以保持高精度的識別能力。

目前“空天·靈眸”3.0版在覆蓋場景分類、目標檢測、語義分割、變化檢測等6大類任務的23個國際基準數據集上測試，較比當前的主流模型，精度平均提升4%至10%，指標均達到領先水平，并已在應急、國土、海洋、住建等多個行業部署試運行，特別是在最具挑戰性的復雜要素精細分類、運動小目標連續跟蹤等任務上性能卓越，為天臨空地一體化應用提供了一套行之有效的解決方案。未來，研究團隊將持續推動“空天·靈眸”3.0版在國民經濟各個行業的落地應用。