科學家提出毫米波近場透視成像與可見光的圖像融合方法

近日，電子科技大學自動化工程學院研究團隊在期刊《神經網絡》上發表研究性論文。該文首次提出毫米波近場透視成像與可見光的圖像融合方法。

隨著目標檢測技術的快速發展，多種傳感器在提升檢測精度方面發揮著關鍵作用。可見光傳感器（如攝像頭）在捕捉紋理、結構信息方面表現出色，但僅限于獲取表面信息，在遮擋或復雜環境下其檢測能力受限。為彌補這一缺陷，近場毫米波成像技術因其具備透視能力、非破壞性檢測和生物安全等特性，受到廣泛關注。該技術能夠通過處理回波生成高分辨率的內部缺陷圖像，特別適用于工業制造、建筑檢測和航空航天等領域的質量控制與安全檢測。然而，傳統毫米波成像面臨特征稀疏的問題，導致生成的圖像信息單一，難以滿足高精度檢測需求。針對無損檢測、遮擋條件下的目標定位等場景，毫米波與可見光圖像的融合提供了一種有效的解決方案。隨著多視角智能檢測需求的增加，高效整合多模態圖像信息以提升目標表征能力，已成為亟待解決的研究課題。然而，目前尚未開展相關研究。

該研究提出了一種高效的近場毫米波透視與可見光圖像融合方法，旨在克服粗粒度毫米波模態的信息稀疏問題，實現高分辨率的多模態圖像融合。本研究基于深度學習中的遷移學習策略，應用典型SwinFusion框架，設計出一款從紅外與可見光圖像融合數據集中學習先驗的信息融合算法，該算法能夠有效地整合毫米波和可見光圖像的互補信息。同時，通過引入雙邊濾波損失函數，顯著提升了算法對毫米波圖像摩爾紋噪聲的抑制能力，確保融合結果在精度和魯棒性方面均表現優異。

實驗結果表明，該方法在真實環境下展現了更高的融合精度與優異的目標檢測效果，為多模態圖像融合提供了新的解決思路，尤其適用于內部缺陷檢測、目標定位等需要穿透成像的應用場景中，具有重要的實際應用價值。

此外，研究構建了首個近場毫米波與可見光圖像融合數據集（MMVI數據集），有助于研究者驗證并優化個性化算法，推動近場雷達成像領域的發展。

相關論文信息：https://doi.org/10.1016/j.neunet.2024.106799