取之不竭！AI助力太陽能無人機“超長待機”

　　依靠取之不竭的太陽能，太陽能無人機具備超長航時的特點，可在臨近空間航行數周或更長時間，完成通信中繼、環境監測等任務，極具發展潛力。近日，中科院工程熱物理研究所無人飛行器實驗室在《中國航空學報（英文版）》（Chinese Journal of Aeronautics）發表論文，將深度強化學習技術引入太陽能無人機軌跡研究，可更“智能”地規劃飛行軌跡和路徑，從而節省能源，使得無人機在空中工作更長時間。

久航仿真信息分析 中科院工程熱物理所供圖

　　仿真試驗顯示，在執行固定任務并經過一整夜飛行后，采用強化學習控制器的太陽能無人機剩余電量相比初始狀態提升22%，相比于采用最小功率定常盤旋和預設三維狀態機策略的情況，剩余能量分別提高31%和17%。而在久航仿真試驗中，采用強化學習控制器的飛行續航時間相比以上兩者提高超過一倍，達到59天。同時，控制器也可以根據當前飛行和輻照信息重新預測未來的飛行軌跡，平均單步推理僅用時1毫秒的時間，將重規劃用時由傳統方法的分鐘級提速至秒級，使自主飛行能力得到了進一步的提升。

　　臨近空間距離地面20~100公里，它雖然空間上十分遙遠，但在科學、經濟等領域都具有研究價值。目前世界各國都在加強對臨近空間的探測和認知，搶占臨近空間戰略制高點，構建新興的高技術平臺。相比同樣用于臨近空間的氣球與軟式氣艇而言，太陽能無人機可控性更強，覆蓋范圍更廣，重復利用率更高，但所處嚴苛的高空環境也對無人機的飛行能力提出更高要求。

　　為了搭載更多有效載荷，太陽能無人機平臺的尺寸正在不斷增大，這對總體設計方法提出了嚴峻挑戰。在現有電池效率的限制下，如何增加太陽能無人機的飛行航時？對此，無人飛行器實驗室主任張子健研究員表示：“第一點是保持無人機性能的穩定，使其飛得更好、更穩；第二點是能延長續航時間，最大程度利用能量；第三點是在一定的約束下，提高任務覆蓋能力。”

　　為了實現這三大目標，研究人員嘗試了許多方法。如離線優化算法幫助無人機充分利用可獲取的能量，但無法實時糾正飛行過程中的不確定性，也不能及時調整飛行狀態；而一些在線算法會因為有限的算力導致計算效率下降。

　　最終，研究團隊成員倪文俊、吳迪、畢瑩首次引入深度強化學習技術，借助神經網絡優化飛行軌跡，提升太陽能無人機自主控制智能規劃的能力。

　　深度強化學習更接近人類的學習習慣，是將深度神經網絡的信息感知、提取能力，和優化長期目標的決策能力相結合的一種人工智能學習方式。論文第一作者、中科院工程熱物理研究所博士生倪文俊告訴《中國科學報》，軌跡規劃是高空太陽能無人機研究領域重要的一環，基于能量的軌跡規劃，就是關注無人機在飛行過程中以怎樣的姿態才能更有效地提高能量利用率，完成任務執行。

　　據悉，研究團隊利用強化學習算法，借助神經網絡接收更多異質信息，諸如位置、速度、能量、太陽狀態等，組成高維信息空間，將動態軌跡生成轉化為端到端的控制，設計并建立完整的高空長航時太陽能飛機數值仿真環境以及強化學習框架。這樣，無人機的計算效率和實際匹配效能提升了，通過與環境交互，還能自主適應軌跡生成，達到效能利用的最大化。

　　倪文俊表示，這是太陽能無人機領域首次引入深度強化學習概念，團隊在探索道路上也曾遇到重重阻礙。由于存在大量學科交叉，深度強化學習與太陽能無人機涉及航空總體設計、人工智能、飛行控制等領域，需要查閱大量文獻，學習相關知識。其次，為驗證創新方法的可行性，團隊不斷優化框架摸索實踐，并進行大量仿真實驗，對無人機性能、算法規律、具體操作設定、細節等方面都要有深入的考量與求證。