華盛頓大學：發布3D掃描獲取面部特征新方式

　　3D渲染中準確地重建一個人的面部特征，是3D掃描儀所要面對的最困難的工作之一。雖然各種技術和軟件已經發展了很多年，但人臉的高度非剛性性質，以及人類本身能夠分辨出非常細微的細節和幾何缺陷的能力，使得生成一個高頻品質的渲染效果非常困難。此外，它還是一個非常耗時的過程，并且需要大量的設備。受測者將被長時間鎖定在一個工作室里，同時要設置幾十個攝像頭來收集必要的數據。

　　 但是，在今年9月6日—12日在瑞士蘇黎世舉行的計算機視覺歐洲會議（European Conference on Computer Vision）上，來自華盛頓大學的團隊展示了一種3D掃描獲取面部特征的新方式，可以避免這一切，而且使用的設備非常簡單，不需要特殊的裝置。

　　“前提是，我們能夠獲取一個人在不同時間、不同環境，以不同的表情和姿勢拍攝的大量照片。事實上，大多數人在生活中總是會拍攝大量的照片和視頻。我們的建議是利用同一個人的所有可用圖片和視頻作為資料庫，來幫助在虛擬世界重建他/她的臉部。”

　　他們的做法被稱為總體移動臉部掃描（Total Moving Face Scanning，TMFS），研究團隊成員包括華盛頓大學計算機科學與工程研究生 Supasorn Suwajakorn和他的導師助理教授 Ira Kemelmacher-Shlizerman、教授 Steven Seitz。

　　這種TMFS方法，可用于在非正常拍攝條件下的3D建模。特別是那些有著大量公開圖像、視頻數據的知名人士，諸如查爾斯王子、阿諾德?施瓦辛格、湯姆?漢克斯這類人。這應該也算大數據的一種使用方式吧。

　　從下面的圖片中可以看到，軟件在綜合了各種光照條件、頭部姿勢、面部表情等數據生成了高度詳細而精確的3D渲染效果。

　　這種方法顯然與常用的技術大不相同。“當前幾乎所有的3D人臉追蹤和視頻重建方法都是基于一個假設，即人臉可以通過混合形狀的線性組合來表現。”雖然這種方法可以科學家限制參數和測量指標的數量，但它會導致在低等級的3D模型中，表現力有限，而且無法捕捉一些重要細節。

　　使用TMFS方法，目標對象的圖像視頻數據越多，那么計算生成的3D形象就會越精確傳神。一個人的臉部形狀可以在每個時刻都稍有不同，但是它們的大致形狀（例如眼睛、鼻子的長度，整體幾何形狀之間的距離等），趨向于隨著時間的推移保持一致。因此，研究人員可以利用所有可用的圖像（照片和/或視頻幀）來捕捉特定條件下的平均形狀和外觀，來重建一個人的外觀和形狀的3D模型。

　　3D渲染本身就是一種復雜的算法。 至關重要的是一個“照片一致性基礎上的標準，比如在同一個輸入視頻幀中比較網格效果。這種能力的關鍵取決于每個輸入幀的渲染網格能否匹配。”

　　TMFS方法的渲染過程包括了兩個步驟：第一、平均形狀（基于圖像數據庫）發生變形以匹配3D渲染里同一個形狀的運動。第二，所得到的形狀要根據每一幀中的已知細部線索進行修改。這意味著，非剛性的面部特征（如皺紋）也將首次捕獲并添加到參考幀里，在這之后一些特定的細部也將要考慮在內。 所有這一切，很明顯需要一些嚴肅的計算。

　　但是結果是不會說謊的。TMFS算法能夠成功地清晰捕獲類似皺紋這樣非常微小的細節和在很小尺度上的微妙表情變化，這是現有軟件無法比擬的。 正如科學家們說：

　　“通過注意在每幀中面部表情的變化（相對于平均形狀），例如，嘴張開、眼睛閉合和打開、皺紋出現和消失、眼睛區域的細節等，諸如此類。該方法即使在對象動作幅度非常大的條件下也很可靠，即使是簡單的輪廓也能提供高品質的結果。”

　　TMFS技術的應用前景十分廣闊，它可以用來開發基于視頻和照片的3D建模軟件，讓對人像的3D掃描和建模變得更加簡單、方便、精確。同時也否定了使用昂貴的設備來獲得高質量結果的必要性。