高光譜成像的傳感器和相機要求

通過適當的組件選擇，高光譜成像技術可提供可見光范圍以外的有效圖像捕獲。

高光譜成像（HSI）技術最初用于地球觀測，已擴展到各個領域，從工業分類到醫學研究，例如科學家利用該技術生成皮膚和皮下組織的數據庫。

隨著圖像傳感器和照相機的改進，研究人員和開發人員正在發現越來越多的高光譜成像應用，包括食品質量控制，制藥過程控制，塑料分選和生物測量。

圖1：回收站（上）每年接收300萬噸塑料。高光譜相機可以區分四種不同類型的塑料（底部）。

應用范例

食品質量控制

過去，食品質量控制需要破壞性的測量。質量保證人員在每個批次中選擇一個樣本進行采樣，檢查其外觀，并使用破壞性測量技術根據分析結果確定等級。現在，SWIR高光譜成像可以幫助識別和量化食品的化學成分，并基于所分析的每個分子的不同波長或光譜指紋，提供諸如營養，脂肪百分比，糖含量和新鮮度等信息。例如，一架無人駕駛飛機上的SWIR高光譜攝像機可以幫助測量生長在樹上的蘋果中的糖含量，并在收獲季節之前預測其等級和質量。

塑料分選

2017年，美國的塑料回收率為8.4％，但回收工廠每年接收300萬噸塑料。隨著對回收利用意識的提高，預計會有更多的人對廢物進行回收，這意味著需要更多的塑料用于回收工廠進行處理。但是，不同的塑料材料需要不同的回收過程，如果使用錯誤的過程，則無法區分它們可能會濾出有毒化學物質，或在此過程中損壞儀器。借助高光譜成像，回收站可以輕松地利用1.7至2.6 μm光譜信息區分塑料材料，并使用從相機收集的空間信息在傳送帶上標記位置。

圖2：高光譜攝像機類型及其各自的采集和數據存儲方法包括：（a）掃帚攝像機；（b）掃帚相機；（c）基于光譜掃描的高光譜相機；（d）快照相機。

高光譜成像的類型

高光譜相機可以通過四種方式捕獲信息：點掃（點掃描）相機，線掃（線掃描）相機，基于光譜掃描（區域掃描或平面掃描）的相機以及快照（單次拍攝）相機。

點掃攝像機一次捕獲一個像素。圖像隨著相機光柵掃描樣品而建立，并包含其所有光譜信息。雖然在圖像采集期間非常耗時，但是該方法導致非常高的光譜分辨率。

高光譜成像系統對農產品進行分級

線掃相機比點掃式攝像機快，并提供高光譜分辨率，線掃式攝像機一次可捕獲一條線。相機會在樣品上掃描這條線以生成完整圖像。盡管比點掃更快，但線掃相機可能會在結果圖像中產生鋸齒和運動偽影。

光譜掃描相機一次收集給定波長的整個空間信息。高光譜立方一次生成一個圖像/一個波長。雖然每張圖像速度很快，但是光譜掃描由于改變波長所需的時間而緩慢地產生立方體。

高光譜快照相機可以捕獲高光譜視頻，是快速成像運動物體的理想選擇。但是，這些相機通常只能提供有限的光譜和空間分辨率。

圖3：Hamamatsu Photonics提供了G14741-0808W InGaAs面積圖像傳感器（頂部），該傳感器提供了光敏度和光譜響應曲線，如圖所示（底部）。

圖像傳感器要求

獨立于高光譜平臺，光學傳感器在數據采集中扮演著最重要的角色。在本節中，本文介紹了HSI所需的傳感器規格。

光譜響應范圍

與傳統的RGB成像相比，HSI的主要優勢在于能夠在更寬的光譜響應范圍內以更高分辨率的光譜捕獲更多細節。借助CCD和CMOS圖像傳感器等硅技術，可以在可見光和近紅外范圍（從400 nm至1100 nm波長）中檢測出肉制品中的變色和一些異物。但是，使用反射成像方法檢測肉的水分含量（嫩度）需要900至1700 nm的光譜范圍。在此波長范圍內，CCD和CMOS傳感器沒有足夠的響應，而標準的InGaAs技術可以以相當可觀的成本實現超過70％的量子效率。

作為另一個示例，檢測牛肉中的脂肪酸需要1000至2300 nm的光譜范圍。借助擴展的InGaAs技術，該傳感器可以檢測900 nm至2.5 μm的波長，使其適用于1.7 μm以上的高光譜成像。作為可以提供擴展波長的InGaAs圖像傳感器的少數供應商之一，濱松光電公司發布了一系列QVGA InGaAs區域圖像傳感器，其截止波長為1.7 μm， 1.9 μm，2.2 μm和2.5 μm。

動態范圍

光學傳感器的動態范圍對于在寬光譜范圍內獲取信息非常重要，尤其是在部署推掃技術進行圖像獲取時。推掃式攝像頭可以同時捕獲一整條圖像線和光譜信息，并且可以將所有波長的曝光時間設置為一個值，因此傳感器需要具有足夠的動態范圍以獲取非常低的信號和整個光譜中的峰值信號。動態范圍取決于讀出噪聲和傳感器的飽和度。讀出的噪聲通常確定傳感器可以檢測到的最小信號電平。例如，要達到1.2V飽和輸出電平下的1500動態范圍，就需要800 μV rms的讀出噪聲，這對于CMOS ROIC設計而言并不容易。長時間曝光 需要考慮暗電流散粒噪聲，特別是在使用擴展的InGaAs時。例如，在相同的像素格式下，如果標準InGaAs傳感器（1.7 μm截止波長）的暗電流指定為0.03 pA，則擴展的InGaAs傳感器（2.5 μm截止波長）的暗電流可以指定為30 pA。

新型寬帶LED增強了高光譜成像應用

靈敏度

與可以將曝光時間設置為0?30秒的傳統光譜相比，HSI的曝光時間必須足夠短（有時以毫秒為單位，甚至是微秒，范圍），以避免任何波長下的飽和，這可能導致曝光不足如果傳感器在任何波長下都不具有足夠的靈敏度，則某些光譜帶的光譜會降低，并且光譜測量的準確性會降低。傳感器的靈敏度包括光電二極管陣列的光電靈敏度和片上讀出電路的電荷電壓轉換增益。然而，讀出噪聲水平通常隨著靈敏度的增加而增加。使用區域掃描HSI技術，可以為每個波長設置合適的曝光時間或片上增益。例如，可以為低信號范圍設置較長的曝光時間或較高的轉換增益，可以為強信號范圍設置較短的曝光時間或較低的轉換增益，以便在整個波長范圍內獲得平滑的輸出光譜。

作為最流行的高光譜成像方法，pushbroom方法以按行帶狀交錯（BIL）的格式存儲高光譜數據立方體-一種在一個方向上連續掃描的方案。因此，線掃式攝像機特別適合在工業過程中常用的傳送帶系統，例如食品質量和安全檢查，回收工廠的分類以及藥品標簽和包裝。對于具有快速移動物體的應用，快速采集變得至關重要。不僅曝光時間短，而且傳感器設計的體系結構都可以提高讀出速度。例如，片上采樣保持電路啟用“邊讀取邊積分”（IWR）功能，因此傳感器可以在第二行曝光時開始讀取第二行曝光，同時讀取整條線（來自前一次曝光的數據）。

區域掃描方法可以在一系列波長中記錄空間和光譜信息，因此對于快速成像應用很有吸引力，但是區域掃描相機不適合需要移動樣本測量的應用。濱松光電制造的區域圖像傳感器具有列平行結構和部分讀出（ROI）功能，不僅可以按像素數量成比例地縮短讀出時間，而且可以節省數據存儲和數據處理工作。

相機要求

攝影機

高光譜成像相機有兩種類型：線掃描相機和面掃描相機。

線掃描攝像機集成了線性一維傳感器，并具有高幀率的優勢，速度超過40,000行/秒，使其非常適合組裝線的在線檢查。當與人工智能（AI）結合用于缺陷識別或模式識別時，它是檢查系統的重要組成部分，因為高采集速度可實現基于AI的分類和缺陷識別任務。

區域掃描相機集成了2D傳感器，并通過生成整個場景的快照圖像來提供高空間信息。典型的區域掃描InGaAs攝像機采用QVGA或VGA格式。攝像機可以快速捕獲許多圖像，提供大視野，并適合農業中的廣域成像應用。

高光譜成像攝像機還可以用于食品檢驗，安全性，塑料分揀和藥物發現。大多數相機的傳感器上都有散熱裝置，可降低噪聲和暗電流，從而改善整體圖像質量。板載內存或用戶可訪問的FPGA使攝像機對于定制非常有吸引力。

接口

接口選擇是選擇攝像機的重要考慮因素，因為它定義了攝像機的速度，連接性以及與其他儀器的集成程度。相機有許多為不同目的而設計的接口。USB和GigE是最常的，而示例包括RS-422 / LVDS，Camera Link，RS-232和CoaXPress接口。

軟件支持

將正確的軟件與高光譜硬件配對代表了系統開發中的關鍵一步。必須考慮硬件驅動程序的支持，因為相機必須在選定的軟件環境中運行。許多第三方軟件平臺，例如National Instruments的LabVIEW和MathWorks的MATLAB ，康耐視。

對于希望對接口進行自我編程的用戶，軟件開發工具包支持是他們的主要考慮因素。編寫自定義界面使用戶可以完全控制最終用戶的體驗。Python和C ++是常見的編程語言，而Linux操作系統為控制設備和數據流提供了極大的靈活性。作為開發人員，必須確認照相機支持這些編程工具，或進行昂貴的系統重新設計。

結論

外星眼機器視覺認為：高光譜成像結合了相機和光譜儀的功能。通過同時使用一臺攝像頭而不是光譜儀，可以同時收集光譜和空間信息，從而節省了時間和金錢。過去的圖像傳感器和照相機在速度，分辨率，靈敏度和軟件方面都有局限性。技術的新進步使高光譜成像比以往任何時候都更加容易。改進的軟件和編程工具可輕松集成用于任何應用程序的高光譜成像。如今，有許多選項可用于高光譜成像。