視覺芯片和相機助力無人駕駛

圖像傳感器對自動化機器在內的各種應用至為重要，需要兼具良好的整體視覺質量（對場景的準確解讀）以及快速運動探測（實現快速反應）。不過，整合各種理想功能可能會影響效率或是需要在圖像質量和延遲上做出取舍。

中國與瑞士科學家在兩項獨立研究中證明了混合方法能在克服之前局限的同時滿足這兩種需要，這些方法或能用于自動駕駛汽車。相關研究近日發表于《自然》。

在其中一項研究中，清華大學機械工程學院教授施路平和同事以人類視覺系統的運作方式為靈感，開發了一款傳感芯片，能將快速但不精確的感覺與慢速但更精確的知覺相結合。這個視覺芯片名為“天眸”，它有一個混合像素陣列，能將低準確度但快速的事件探測（無需太多細節便可對變化做出快速反應）與慢速處理相結合，實現對場景的準確可視化。他們用一個自動駕駛感知系統證明了該芯片能快速穩健處理圖像的能力。該芯片在多個情景進行了測試，包括開車經過一個黑暗隧道，應對相機閃光燈的干擾，以及探測汽車前方有人走過。

  “天眸芯” 登上《自然》雜志封面。清華大學供圖

在另一項研究中，蘇黎士大學的Daniel Gehrig和Davide Scaramuzza用視覺感知專用相機克服了這些困難。全彩相機分辨率很高但需要大量數據處理（帶寬）來探測快速變化；降低帶寬會導致延遲增加，從而會影響安全性。而事件相機雖然能探測快速的移動，但會犧牲準確度。研究表明，有一種混合系統能讓自動駕駛汽車實現穩健的低延遲目標探測。通過結合這兩種相機，彩色相機的幀率會降低，從而在確保準確性的同時降低帶寬、提升效率，而事件相機也能彌補彩色相機造成的高延遲，確保能探測到快速移動的目標，如行人和汽車。

這兩種方法或能讓自動駕駛汽車和其他應用實現更快、更高效和穩健的圖像處理。

相關論文信息：

https://www.nature.com/articles/s41586-024-07358-4

https://www.nature.com/articles/s41586-024-07409-w