電腦視覺是什麼？實際上大多數人每天都會用到這項科技，舉兩個例子：一個是智慧型手機上的臉部辨識。如果手機上有這一功能，平時也會用於解鎖螢幕或是電子支付，那麼你就正在使用電腦視覺。另一個是當平時去超市或者超商付款，收銀員會用掃描你所購買的產品條碼，這類日常生活情境都會用到電腦視覺。本文專訪了意法半導體亞太區影像事業部技術行銷經理林國志，與意法半導體亞太區影像事業部資深技術行銷經理張程怡，為所有讀者分享意法半導體電腦視覺全域快門影像感測器產品與應用趨勢。

圖二

我們可以看到電腦視覺的定義，電腦視覺是人工智慧的一個分支，能夠讓電腦和系統從數位影像、視訊和其它的視覺輸入資料中提取有意義的資訊，並根據這些資訊採取行動或提出建議。

在臉部辨識中具有意義的資訊就是臉，系統會對臉進行影像採集，然後進行資訊處理，得出的結果就是驗證使用者身份，接著解鎖手機。通常情況下電腦視覺都會產生資訊輸入和輸出，就拿條碼掃描機來說，掃描條碼即是資訊輸入，鏡頭採集條碼的影像，系統讀取以辨識產品和價格。

接下來說明電腦視覺的應用範例，這些應用均使用到全域快門感測器的技術。實際上，電腦視覺的應用情境無處不在，可以將其歸為四大類。

第一類叫做深度感測，這項應用時間比較久。透過使用兩個全域快門感測器搭建一組立體視覺系統，或者是使用一個全域快門感測器搭建結構光鏡頭系統。通常深度感測可以用於臉部辨識和3D掃描這類應用情境。

圖三

第二類叫做生物辨識，這項應用採集人體各個部位的資訊並將其用於身份辨識。人臉資訊可以用於臉部辨識或者2D智慧解鎖，體形資訊可以用於人存在偵測，除此之外還有手勢偵測、掌紋辨識、虹膜辨識等等。這些人體資訊都是獨一無二的，包括人臉、掌紋和虹膜，皆可用於身份辨識。還有駕駛與車艙監視，採集司機與乘客的行為資訊，產生的結果就是系統發出的各類警示。

第三類就是擴增實境（VR）、虛擬實境（AR）和混合現實（MR），最近這類話題很紅，因為其涉及元宇宙的概念。

當戴上VR頭部顯示裝置之後我們看不見周圍環境，只能依靠光學感測器讓你知道環境的變化。通常VR頭戴式顯示裝置在內部和外部分別有一個鏡頭，內建鏡頭用於眼球追蹤，並透過兩個全域快門感測器進行眼球觀測，因為在實際應用情境中需要感知你的眼睛看哪個方向，透過眼球追蹤得到的資訊將提供不同的反饋。外置鏡頭用於外部世界追蹤，主要感知外部環境而非使用者眼球的變化。

這裡有兩類重要應用情境：一類叫做6DoF，針對的是頭部行為。當使用者戴上VR頭戴式顯示裝置後就會獲得6D感知能力。頭部可以做出左右、上下、前後六個角度的動作，因此被稱為「6DoF」（六個自由度追蹤）。另一類稱為「SLAM」（同步定位與地圖構建），例如使用者需要掌握所處房間的狀況，牆壁在哪裡、沙發在哪裡、自己所處哪個位置，戴上VR頭戴式顯示裝置走動的時候如何避免撞牆。因此在使用AR／VR５裝置的過程中，手勢偵測、掌紋辨識、臉部與情緒追蹤等功能是非常重要的。

除此之外，使用VR／AR裝置還可以進行生物辨識，例如手勢偵測或者手勢追蹤。通常在這種情境下，裝置可以透過使用者一個手勢辨識出這是哪種行為目的。例如使用者進行一場演講，透過一個手勢就可以自動翻到下一頁簡報檔或者翻回到首頁，又或是透過手勢告知助理按一下或按兩下滑鼠。這些應用都是透過手勢偵測實現，裝置無需揣測使用者想表達的資訊，只需追蹤手勢即可。

最後一類應用是機器人與工業控制。例如無人機和掃地機器人在使用過程中需要避免相撞，所以要有物體偵測和情境分析能力，而這些都需要使用全域快門感測器。之前提到的條碼辨識也屬於工業控制中的電腦視覺應用。

圖四

除了全域快門之外，還有捲簾快門，因為總共分為這兩種鏡頭。捲簾快門的設計目的是為了捕捉靜態影像和視訊拍攝，因此需要非常高的解析度和顏色處理能力。我們身邊大多數鏡頭都屬於捲簾快門，例如智慧型手機的主鏡頭、自拍鏡頭、建築中的監控鏡頭，甚至數位相機都是採用捲簾快門技術。因為這些應用情境都需要捕捉彩色影像，因此需要相當高的解析度。

唯一的問題在於，採用捲簾快門的電腦視覺技術都是逐行拍攝影像。照片採用捲簾快門逐行拍攝的話，整個影像只有一幀。如果拍攝物件是車輛這樣的快速移動物體，影像可能會扭曲，無法顯示拍攝物件原本的樣子。如果影像扭曲就無法顯示物體的真實狀態，也就不能用於電腦視覺，無法判斷影像中的是不是另一輛車。

因此捲簾快門沒有被應用於電腦視覺技術中。全域快門的原理完全不同，一次拍攝整幅影像，且拍攝時間非常短。只要拍攝物件不是快速移動的物體，成像效果非常準確，因此完全可以用於電腦視覺。

圖五

接著來了解意法半導體的影像感測器產品。ST在影像領域已有超過二十年的發展歷史。1999年收購VISION，2002年開始為智慧型手機產業供應鏡頭模組，2012年將業務從手機通訊拓展至醫學、航空、個人電腦和其它領域，2014年又推出ST dToF直接感測器感測器，2018年推出ALS感測器，2020年推出最新的全域感測器。

圖六

ST影像感測器產品包括三大家族：一是飛行時間感測器，包括dToF直接感測器和iToF間接感測器。二是全域快門影像感測器，包括主動立體視覺或結構光鏡頭。三是環境光感測器，包括自動調整平衡技術。

圖八

下面來看ST消費和工業用全域快門影像感測器。目前ST共有兩類產品：一類是VD55G0， 40萬像素。另一類是VD56G3， 150萬像素。兩種產品採用的都是ST 3D技術，最初的設計包括兩層陣列，之後ST將其合二為一形成單一陣列。

這些產品擁有三大優勢：首先ST的感測器940nm具有最高的量子效率，這會帶來極高的NIR敏感度。電腦視覺主要採用NIR技術，後面我會詳細講解。其次是正方形感測器的解析度與鏡頭最佳配對，之所以採用正方形是因為電腦視覺的採集物件通常是正方形，例如人臉通常就是的正方形。ST感測器拍攝時間很短，能夠在確保準確成像的同時降低系統功耗。

圖九

除了以上這些影像輸出功能，我們還可以進行資料輸出，其中之一就是光流輸出，透過運算動作向量獲得資料。圖中顯示人的肢體動作，感測器可以採集資訊、輸出資料，利用光流進行手勢辨識和追蹤。

圖十

接著來看用於智慧家庭和智慧大樓的ST全域快門感測器：智慧家庭的應用需要考慮周全，使用者不希望家裡有個鏡頭全天候監視自己，與此同時又想要鏡頭和感測器帶來的益處，因為很多輔助功能可以讓使用者的生活變得更加舒適。全域快門感測器能夠實現這一點，圖十中都是採用電腦視覺開發的功能，透過追蹤技術實現人機互動。

圖十一

接下來是用於筆電和個人電腦鏡頭的ST全域快門感測器。我們將所有ST影像產品都應用於此，例如之前提到的全域快門產品，ToF、ALS等等，包括各種參考設計。筆電和PC應用全域快門技術的意義，可以進行臉部辨識、手勢控制、眼動追蹤、舒適度監測和隱私保護。ToF和ALS則可進行存在偵測、電池續航、螢幕亮度自動調整和隱私保護。

圖十二

另外，ST還有一種產品叫做ST AI鏡頭，包括三大類：一是感測，二是運算，三是通訊，電腦視覺技術基本上需要這三步。首先要有許多感測器進行資訊採集，包括ToF、IMU這些全域快門感測器，然後將資訊傳送至MCU這些AI深度學習演算法以取得產出，最後再將結果傳送至無線裝置。

圖十三

接著介紹ST的客戶合作：ST標準感測器開發評估套件目前已經上市，這款產品完全根據客戶需求而開發。ST交貨的產品還有裸片，客戶可以選擇協力廠商所提供的封裝感測器或是鏡頭模組，包括PCB、影像感測器、鏡頭和介面，共同打造整套工業用鏡頭產品供應鏈。

圖十六

接著要來探討的是汽車領域的應用，車內感測器主要包括四大類：剛才提到的車內鏡頭，ADAS鏡頭、觀測鏡頭和售後鏡頭，主要用於行車記錄器。其中除了車內鏡頭屬於新品，其它產品都已經相當成熟。

圖中右側顯示目前的市場趨勢，黃線代表車內鏡頭市場趨勢。可以看到2021年底車內鏡頭的市場滲透率約為10%，而到2024年就會達到50%。因此這一新興市場發展是十分迅速的，產業生態中的關係人正紛紛湧入。

圖十七

車內鏡頭並不只一種，Euro NCAP為車輛評估標準體系，曾經對車內監控系統分為兩類：一類叫做駕駛監控系統DMS，另一類叫做車內乘客監控系統CMS或者OMS。駕駛監控系統觀測物件就是司機，主要監控司機是否注意力集中，是否有分神或是打瞌睡，因為這些現象會嚴重危及行車安全。而車內乘客監控系統則主要觀測乘客狀況，特別是兒童，因為有些粗心的使用者下車後會將孩子遺留在車內。

圖十八

如圖所示，駕駛監控系統DMS鏡頭安裝在駕駛員面前，觀測物件主要是臉，鏡頭必須做得很大，大概50～60度，解析度100～230萬畫素。重點之一在於這裡必須採用NIR鏡頭，因為不僅需要白天對駕駛員進行監控，晚上也是需要，因為很多人會在夜裡開車。在這種漆黑的環境下，必須要有光源投射在駕駛員臉上，但肯定不能使用可見光，所以需要NIR技術。圖中就是NIR影像和普通鏡頭模組的比較，除了一個感測器之外還有NIR光源。

圖十九

車內乘客監控系統觀測的是車內所有乘員，但不同之處在於，因為這裡需要物體探測和辨識，所以需要彩色影像，而且觀測範圍比較寬廣，因此鏡頭視角需要更大，解析度需要更高，才能獲取觀測領域內所有細部資訊。

圖二十

車內乘客監控與駕駛監控二合一系統，是將CMS、OMS和DMS結合。剛才提到車內乘客監控需要RGB彩色影像，駕駛監控則需要NIR影像，現在僅需單個鏡頭就可以同時支援RGB和NIR。以上都是車內鏡頭的要點，下面來看ST全域快門感測器用於汽車領域的兩代產品。

圖二十二

第一代包括四類產品：VD5661A具有160萬像素解析度，主要用於DMS。VD5761A具有230萬像素解析度，因為屬於Mono（單色）所以也可以用於DMS。ST還有採用彩色RGB的VD6763A和RGB-NIR一體化的VD1762A。可以說ST第一代全域感測器就已經能夠覆蓋所有客戶需求，這裡需要注意三個要點。

首先是高對比，感測器能夠輸出對比度極高的影像意味著能夠獲取更加準確的資訊，例如取得使用者目視方向必須要有極為準確的虹膜影像。其次是RGB和NIR的資料管理，這些也需要非常靈活。再來是高動態，如果使用者處於非常明亮或者黑暗的環境中需要HDR感測器採集亮暗環境的影像，通常車內都很暗，而車外非常亮，HDR能夠在這兩種環境條件下取得清晰的影像。

圖二十三

第二代產品VB56G4A具備150萬像素解析度，主要用於駕駛監控，包括三大要點。首先是高靈敏度，NIR的高靈敏度意味著無需強勁的LED光源，因為LED耗能會帶來更高的功耗，高靈敏度則可避免這些問題。其次是感測器面積小，因為整體體積很小，意味著鏡頭模組也可以做得更小，安裝在各種機械裝置內更加容易。再來就是內建處理，感測器有著智慧自動曝光演算法，所有處理運算過程都是自動的，無需人工作業。

圖二十五

ST標準感測器評估套件現可依需求提供，我們的協力廠商供應商也可提供成品鏡頭模組。這些已經非常接近最終成品，使用者可以將其安裝在車內，然後進行快速測試或安裝其它軟體，所有產品都是為客戶帶來便利。

圖二十六

總結來看，ST汽車全域快門感測器總共五類產品，解析度為150萬到230萬畫素，能夠滿足車內所有類型的需求。所有感測器具備AEC-Q100二級汽車認證，擁有HDR高動態範圍技術，支援單色和彩色以及一體化成像。ST感測器擁有彈性的閃光照明控制、高靈敏度近紅外線感測器和出色的近紅外線頻譜內MTF性能。

圖二十七

ST為全球排名前列的全域快門感測器供應商。關鍵資訊結論如下：

●當下新興影像應用不斷湧現，尤其是人工智慧和元宇宙，需要大量的電腦視覺技術。剛才已經提到AR和VR，再加上當下很紅的元宇宙概念，全域快門技術在這些領域大有可為。

●全域快門感測器以具有競爭力的成本、精確的測量將成為電腦視覺應用的首選成像技術。

●ST全域快門感測器具有意法半導體專有的像素技術、更高的方形解析度以及多種嵌入式電腦視覺功能，完全滿足電腦視覺應用要求。

●作為全球重量級供應商，ST在出貨、品質和服務都在市場名列前茅。

●最後一點，ST不僅能夠提供全域快門技術，同樣也提供飛行時間和環境光感測器等光學技術，使用者可以根據自己的需求，將這些不同產品整合在各類情境應用中，滿足無限的未來應用需求。