圖1 : 細節、對比,及傑出的自然顏色: 透過IC Measure 多重曝光及圖像處理過後所呈現之高動態範圍圖像 |
|
解析度及速度(幀速率)作為挑選一台合適工業相機之典型標準,其感光度及動態範圍也日趨重要,尤其是運用於汽車工業中。特別是,真實場景中有大量亮度變化的情況(如,開車)受益於由寬動態感光元件所提供的優點。舉例來說,當一台車駛離隧道進入明亮日光中 ─ 低動態範圍的感光元件一般只能表現過度曝光或曝光不足的圖像,代表某些區域細節(或訊息)的損失。假使輔助駕駛系統依賴這個訊息做判斷,就可能造成致命後果。因此,在特別亮或特別暗的區域實現最佳寬動態範圍來獲取重要細節實則十分必要。
增加動態範圍:兩種方法
為了增加最終圖像的動態範圍,基本上有兩種方法 ─ 改進硬體來增加感光元件的動態範圍及透過軟體演算法改進。
CMOS 感光元件的動態範圍取決於像素顏色飽和前(飽和能力),感光元件之像素可保持之最大電子數,以及像素中的暗噪點 (在輸出電荷時所產生的雜訊。)
因此,為了增加動態範圍,可嘗試進一步減少暗噪點或增加飽和容量。
儘管暗噪點取決於感光元件的電子特性,如要增加像素飽和能力,仍可藉由較大的像素(因為更多像素表面區域代表暴露於更多光子,產生更大的電荷)或從本質提升像素結構來達成。最近,Sony Pregius 感光元件展出特別令人矚目 ─ 在沒有改變像素大小情況下,改善像素設計加上同時減少更多暗噪點,可獲得卓越的動態範圍增加。具體而言,Sony IMX 265 Pregius感光元件在3.45微米的像素尺寸下可達70.5 dB的動態範圍。更高飽和能力的結果是可以被一個像素覆蓋的測量範圍擴大了。為了適度地量化此擴大之測量範圍,現代CMOS感光元件至少須具備8個位元,例如,Sony IMX 264感光元件就提供了12位量化信號。
藉由演算法提升動態範圍
除了改良感光元件,動態範圍也可以演算法方式向上增加。這些演算法改進的根基為使用不同曝光時間來獲取圖像數據。其中最令人熟知的方法便是 “時變曝光”(例如,以不同曝光時間獲取的幾幅完整圖像)作為數據基礎。此方法現用於許多智慧手機、常見的圖像處理程序,及一般攝影中;因此在機器視覺以外的市場也廣泛受眾所知。
基本假設為一感光元件的最終像素值近似線性地取決於入射光量和曝光時間,如此一來,即使像素不飽和,也可根據已知的曝光時間來決定潛在的入射光量(或與其成正比的數量)。
在飽和像素的情況下,對應的像素值用於幾個較短的曝光時間。藉由這個方式,與一次曝光相比,可確定更大面積的入射光量。
曝光序列的優點在於,可在擴大範圍內決定亮度而不損失任何局部解析度。
儘管如此,記住多重曝光次數很必要這件事是重要的,因為可能產生不必要的偽影 ─ 特別是移動中的物體 (如: 重影現象 ghosting)。
現代CMOS感光元件如Sony Pregius通常具多重曝光功能,可於不同曝光時間下拍攝原始圖像,而無需手動更改兩次拍攝之間的曝光時間。
空間變化曝光
為了避免多重曝光造成的偽影,現代感光元件提供 “空間變化曝光”技術。此技術在不同曝光時間下曝光感光元件上的某些特定像素組。例如,常見的變體使用不同的曝光時間交替曝光兩條圖像線。 由於曝光同時開始,也得以最小化因畫面移動所引起的偽影。
然而,在此情形下,不同曝光像素之間不存在1:1的對應關係,高動態範圍的最終圖像的像素須透過內插計算。無可避免地,這個過程會使解析度損失,並產生偽影現象 ─ 特別是邊緣結構的部分。此外,透過必要的?插計算最終圖像比曝光系列的數據計算更需密集的電腦運算。
圖2 : 以不同的方式來計算高動態範圍圖像。(a) 時變曝光: 不同曝光時間的兩張圖 (b) 空間變化曝光: 兩張圖像線,不同曝光時間 (c) 空間變化曝光: 另一種變體,歷經四個不同曝光時間 |
|
高動態範圍圖像及色調映射展示
展示高動態範圍圖像時,人們通常直接看見的是顯示器中展現的動態範圍,(與人類視覺感知相比較小)。
雖然目前已有提供更高動態範圍的圖像顯示器,但仍尚未普及。假如要在動態範圍較低的設備上顯示高動態範圍圖像,則必須透過色調映射來降低其動態範圍。
目前並沒有明確定義要如何降低(動態範圍),皆取決於預期的目標。例如,最接近真實場景或達到某主觀及藝術特質之圖像。基本上,區別在全域(global)及局部 (local)色調映射演算法上。全域演算法的例子為,不管在哪個位置,相同轉換所有像素;極為高效且可進行實時數據處理。局部演算法則是在局部像素區域中,盡可能維持最佳的對比度。局部演算法需要更密集的CPU運算,但通常也提供更高對比度的圖像。
圖3 : 同一曝光系列的兩張快門: (a) 較短曝光 (時間) (b) 較長曝光(時間) (c) 透過包圍曝光計算及色調映射可視化之高動態範圍圖像 |
|
The Imaging Source兆鎂新很久前便體認到最大動態範圍對於機器視覺產業應用的重要性,所以透過其終端用戶軟體產品和程式介面中的色調映射來提供高動態範圍影像資料擷取、可視化,亦或資料保存。兆鎂新 亦投注許多程式開發時間來研發容易使用的演算法,最終創建演算法的自動調整模式,使所有參數自動適應場景而不需任何使用者介入,便可表現出高對比、出色的自然色彩之圖像。特別是,當搭配相機支援,終端用戶端軟體IC Measure以高動態範圍功能為標準來展現高動態範圍圖像。
圖4 : The Imaging Source 兆鎂新 終端用戶軟體IC Measure 支援原始 (依據感光元件) 曝光系列及透過色調映射後可視化高動態範圍圖像。 |
|
以上文章由Oliver Fleischmann 博士提供,並於2018年四月發表於德語版本之產業學術期刊中,其標題為High-Dynamic-Range Imaging in modernen Industriekameras