激光雷達數據的處理方法分類

激光雷達數據的處理方法的的根源是深度學習在計算機視覺的發展。這里，我們按照網絡輸入的格式進行分類。

體素

體素Voxel，英文可能是來源于像素Pixel，將體素理解為3維的像素也是可以的。先來說說像素，給定一張固定大小的圖片，將圖片均勻的分為很多小格子，每個小格子就叫像素。那么對于給定的三維空間，將空間均勻分成很多3維小格子，每個小格子叫體素。不同點在于，相機的工作原理，在圖像形成的同時就決定了圖像是由像素組成的，而且相機的感光三通道決定了每個像素的特征就是RGB。而體素并不是數據固有的格式，激光雷達返回的數據是點云格式，需要預先確定體素的大小，人工對點云區域進行分割，將點云格式轉為體素格式。而在轉化的過程中，有的體素可能包含多一些激光點，有些體素包含少一些激光點，那么如果將一個體素內的激光點信息編碼得到體素的特征也是一個研究內容。

那么為什么要講點云轉為體素呢？這種想法我認為很大程度上是來自于圖像，在CNN未取得突破性進展之前，體素也并沒有被十分重視，在CNN取得突破性進展之后，使用2D卷積操作提取特征顯得非常有效。那相對應的，如果使用3D卷積提取點云的特征是否也同樣有效呢？這樣就推進了體素表達和3D卷積的研究。

Pytorch支持了3D卷積，使用nn.Conv3D即可，3D卷積離不開體素表示。體素表示的處理方法也就是3D卷積

轉化為圖像本人是做自動駕駛相關的激光雷達數據處理的，但將激光雷達轉化為圖像處理的方式也其他領域和問題上也很常見。我就拿自動駕駛場景舉例，自動駕駛車輛搭載的激光雷達是通過360度旋轉掃描周圍環境的，例如64線激光雷達，是指64個激光雷達縱向排列，俯仰角不同，然后通過旋轉，達到對360度環境的采樣。那么這種工作方式，很容易讓人想到，掃出來的點如果轉為柱坐標，就是可以根據俯仰角、轉角和距離一一確定的點，而且點和點之間有固定關系，展開就是一張深度圖像，被稱為Range View。由于考慮自動駕駛環境中的物體都是在路面上，在俯視圖中一般是彼此無遮擋的，經過體素化，將每一層的體素都認為是一張圖像的一個channel，就可以將雷達點云轉為俯視圖，Bird Eye View。

將雷達點云轉為圖像之后，那么各種問題的處理就變得非常容易，只需要使用在處理圖像的成熟的網絡即可。比較典型的網絡有MVnet。

直接對點云操作

直接對點云操作，就直接看論文PointNet和PointNet++就可以了。

另外一種思路就是，將點云表達為graph的形式，使用graph convolution進行處理。具體我也不是很了解。

三種方式的優劣

體素是從CNN直接擴展而來的，非常暴力，理解簡單。但對于自動駕駛場景而言，體素化之后，有很多體素中沒有雷達點，通常的做法是將其特征置0，0參與卷積之后的結果還是0，相當于沒有貢獻。但這種體素稀疏的性質，使得大量的卷積是無用計算。另一個問題是，體素是三維的，卷積模板也是三維的，那么計算起來就比二維的慢，而且卷積核移動的方向也是三維的，隨著空間的大小的增大，體素的數量是以立方的數量增長，使得體素這種表達方式，不僅使得計算緩慢，而且大量計算是無用的。當然，稀疏卷積spare convolution的研究可以部分解決這個問題。

轉化為圖像的操作，理解簡單，工具現成。但轉為圖像勢必要犧牲一些數據，結果好壞一部分取決于如何將通過點云數據構造圖像的特征。

直接對點云操作，由于點云的無序性，使得對點云直接操作的研究要從頭進行。PointNet系列和graph convolution的研究給了直接使用點云計算的可能性，但我覺得這仍然是個待研究的問題。