最近幾年大畫面顯示器的需求急遽增加,包含液晶投影機在內的數位平面電子顯示器不斷進行小型、低成本及靜音化,使得投影機與液晶顯示器除了傳統商務簡報之外,已經成為個人也能夠購買的電子產品,一般消費者利用平面顯示器在自家觀賞電影,當作家庭影劇的應用也逐漸普及化。
如上所述平面電子顯示器從以往資料影像用途,擴展到播放電影影像的應用,因此要求平面顯示器的影像高畫質化,在此背景下研究人員開發高畫質影像處理技術,以及可以實現即時高畫質倍頻(progression)掃描轉換LSI。
開發經緯
(圖一)是液晶投影機的系統結構方塊圖。由圖可知輸入影像利用clamp處理將類比影像的黑色強度(level)一定化,接著再用ADC(Analog to Digital Converter)轉換成數位影像。輸入影像若是電腦等資料畫面時,利用畫素數轉換處理轉換成相當於液晶面板的畫素數;輸入影像若是電影(video)影像時,則利用倍頻掃描轉換處理轉換成倍頻掃描影像,再用畫素數轉換處理轉換成相當於液晶面板的畫素數。
由於電影影像屬於交錯式(interlace)影像,因此顯示器除了需要作倍頻掃描轉換處理之外,顯示器的畫質直接受到轉換處理的影響非常大,為實現高畫質電影影像,因此研究人員開發全新的倍頻掃描轉換處理技術。
高畫質化技術
(圖二)是新開發的高畫質倍頻掃描轉換LSI內部結構方塊圖,由圖可知本LSI是由下列主要單元構成,分別是:
- (1)可以忠實使黑色強度再現,實現無黑色浮現、黑色潰散影像的「高精度數位clamp處理技術」;
- (2)可以大幅降低噪訊、實現鮮明影像的「3次元噪訊降低/2次元噪訊降低處理技術」;
- (3)可以減少接近水平斜線的鋸齒狀,實現順暢影像的「適應型倍頻轉換處理技術」;
- (4)可以大幅降低影像變動,實現自然銳利影像的「動態輪廓補償處理技術」。
接著依序介紹上述平面顯示器高畫質影像處理技術。
高精度數位clamp處理單元
以往為了將類比影像轉換成數位影像,通常會進行可以使類比影像黑色強度變成數位數值的類比clamp處理,不過一般類比元件的特性隨著周圍溫度變化,黑色強度隨著經時變化發生變化(使用時間的變遷,以下簡稱為經時變化),嚴重時甚至發生影像黑色浮現、黑色潰散等問題。
研究人員發現經過類比的clamp處理之後,再以數位方式進行作clamp處理,就不會對經時變化有依存性,而且可以忠實使影像的黑色強度再現。(圖三)是高精度數位處理單元的方塊圖。
黑色強度計算單元
黑色強度計算單元可以將影像的黑色強度,在規定期間(back poach)內的數位值平均化,並依照各line計算。
防橫拉噪訊單元
噪訊直接影響各line的黑色強度,如果黑色強度急遽變動影像會發生橫紋(橫拉噪訊),因此研究人員將1條line與目前line的黑色強度加重相加,藉此防止急遽的黑色強度發生變動,大幅降低防橫拉噪訊。
三次元噪訊降低處理技術
去除噪訊常用手法利用時間方向巡迴型濾波器,不過信號強度發生類似人體肌膚般的平順波動影像晃動時,會出現所謂的「殘影」現象,主要原因是將動量、噪訊與目前field/2field前的影像之間差分值當作base檢測,卻無法將動量當作噪訊去除所致。
此處使用與噪訊檢測相異的差分值,亦即將2 field前的影像與4field前的影像之間差分值當作base檢測,如此一來就可以檢測已經抑制噪訊影響的動量,進而實現無殘影鮮明的影像。(圖四)是降低三次元噪訊處理單元的方塊圖。
噪訊檢測單元
一般噪訊的強度大多都很低,差分值低於一定值以下時,可以直接將差分值當作噪訊檢測,差分值一定值以上時,可以推測它已然受到影像變動的影響,因此此處利用控制方式使差分值變成越大噪訊變小,如此一來就可以降低變動影像造成的殘影。
係數計算單元
係數計算單元主要功能是將2field前的影像與4field前的影像之間差分值當作base,計算去除噪訊的強度調整係數。
事實上即使是變動影像在信號強度平順變化部位,目前field與2field前的影像之間差分值會變小,而且會在上述噪訊檢測單元被當作噪訊檢測時產生殘影,一般而言在目前field產生的噪訊,大多不會出現在2field前的影像與4field前的影像上。
由於2field前的影像與4field前的影像之間的差分值,直接反映噪訊影響較低的動量,因此研究人員利用控制技巧使差分值變成越大強度調整係數變小,如此一來就可以大幅降低在信號強度變化非常平順的影像中產生殘影的機率。
二次元噪訊降低處理技術
上述三次元噪訊降低處理單元不容易降低變動影像的噪訊,此處利用變動資料在field內去除噪訊,實現即使是變動也沒有噪訊的鮮明影像。(圖五)是降低二次元噪訊處理單元的方塊圖。
高頻成份計算單元
如(圖六)所示高頻成份計算單元以噪訊降低對象畫素為中心,針對4方向利用二次微分計算高頻成份。
噪訊檢測單元
噪訊檢測單元主要功能是針對從四方向檢測出來的各高頻成份,進行與上述三次元噪訊降低處理的噪訊檢測相同的作業。
噪訊平均化單元
上述噪訊檢測單元檢測出來的各噪訊內部,含有若干可以使影像先銳感提高的高頻成份,此處將檢測出來的各噪訊平均化,藉此降低高頻成份的影響,在不會傷害影像先銳感前提下大幅降低噪訊。
@中標:適應型倍頻轉換處理
@內文:由於投影機與液晶顯示器可以顯示電影等交錯式影像,因此必需將影像轉換成循序式(progression)影像(亦即所謂的倍頻掃描轉換)。
如(圖七)所示一般倍頻掃描轉換方式的動態影像,接近水平的斜線經常出現鋸齒狀的jaggies現象,它是在倍頻掃描轉換對象field內的line之間,進行線形補位處理時經常出現的影像瑕疵,因此研究人員利用斜向畫素的互動關係,開發適應型循序掃描轉換技術,實現如(圖八)所示平順影像顯示;(圖九)是適應型倍頻掃描處理單元的方塊圖。
補位值計算單元
補位值計算單元主要功能是將鄰接補位對象畫素,上下較小2畫素值當作較大畫素值,接著以該範圍(以下簡稱為補位值存在範圍)內存在的值當作傾斜補位值,藉此使斜向畫素之間的差分絕對值變成最小,接著再將此時的差分絕對值當作傾斜相關值計算。
如圖所示假設圖中的囑目斜向各畫素值分別是,在該方向的補位對象畫素傾斜補位值為,如此一來傾斜相關值可用下式表示:
(圖十一)是傾斜相關值與傾斜補位值的關係,補位值存在範圍的抓取區間一般是區間1~5,因此必需計算可取得各區間最小傾斜相關值。至於區間1與5,傾斜相關值成為最小的值會變成一個,因此可以將此時的值當作傾斜補位值。有關區間2~4,由於存在複數個成為最小的值,所以將傾斜相關值成為最小的值的平均值當作傾斜補位值。
補位值存在範圍若在1~5的場合,此時的傾斜補位值與傾斜相關值的計算如下:
如果使用偏離補位對象畫素進行補位時,極易發生dot妨礙等問題,不過若以補位值存在範圍限制傾斜補位值,就可以大幅降低dot妨礙。
此外本補位值計算單元還針對左右24個方向,合計48個方向進行上述作業,因此它可以支援未來全功能高畫質影像顯示的需求。
補位值選擇單元
補位值選擇單元主要功能是將上述補位值計算單元計算的48個傾斜相關值之中取它最小值的方向計算,再將依此獲得的傾斜補位值當作補位畫素值。取最小值的方向若複數存在時,則將接近補位對象畫素方向計算的傾斜相關值當作補位畫素值。
此外具有最小傾斜相關值的方向,表示line存在方向非常明確,因此利用該方向的畫素補位,可以大幅降低jaggies現象。
動態輪廓補償處理單元
提高影像銳利度一般手法利用二次微分使輪廓補償信號調整gain,接著再根據原影像進行加算計算,不過銳利度提高的同時,在斜線卻出現不穩晃動現象(圖十二),因此研究人員針對輪廓補償對象畫素周圍畫素的強度變化,控制輪廓補償信號的gain,大幅降低斜線不穩晃動現象(圖十三),進而實現自然銳利感的影像顯示,(圖十四)是動態輪廓補償處理單元的方塊圖。
最大強度計算單元
最大強度計算單元主要功能是計算「產生輪廓補償信號時,使用的畫素之間最大強度變化」。
Gain計算單元
Gain計算單元主要功能是根據最大強度變化,計算輪廓補償信號的gain。最大強度變化的大部份具備銳利度,因此加大gain反會造成輪廓補償過剩,導致低斜線不穩晃動現象更加明顯。此處巧妙控制使最大強度變化變大gain卻變小,同時大幅降低低斜線不穩晃動。
本LSI必需配合容量為32Mbit與data bus寬32Mbit SDRAM等外部記憶體使用,輸入影像的位元寬若是8位元以下,使用2個,9~12位元使用3個。
結語
以上介紹可以使電影影像高畫質化的影像處理技術,以及結合該技術實現即時高畫質倍頻掃描轉換LSI的設計技巧,達成「無影像黑色浮現、黑色潰散」、「無噪訊、影像鮮明」與「無jaggies、影像平順」等目標。
本LSI適合應用在液晶電視、電漿電視、前投/背投電視等各種平面顯示器。隨著顯示器的大畫面化,一般認為對影像高畫質化的要求勢必不斷增加,因此今後必需開發更高畫質化的影像處理技術。