最近几年大画面显示器的需求急遽增加,包含液晶投影机在内的数位平面电子显示器不断进行小型、低成本及静音化,使得投影机与液晶显示器除了传统商务简报之外,已经成为个人也能够购买的电子产品,一般消费者利用平面显示器在自家观赏电影,当作家庭影剧的应用也逐渐普及化。
如上所述平面电子显示器从以往资料影像用途,扩展到播放电影影像的应用,因此要求平面显示器的影像高画质化,在此背景下研究人员开发高画质影像处理技术,以及可以实现即时高画质倍频(progression)扫描转换LSI。
开发经纬
(图一)是液晶投影机的系统结构方块图。由图可知输入影像利用clamp处理将类比影像的黑色强度(level)一定化,接着再用ADC(Analog to Digital Converter)转换成数位影像。输入影像若是电脑等资料画面时,利用画素数转换处理转换成相当于液晶面板的画素数;输入影像若是电影(video)影像时,则利用倍频扫描转换处理转换成倍频扫描影像,再用画素数转换处理转换成相当于液晶面板的画素数。
由于电影影像属于交错式(interlace)影像,因此显示器除了需要作倍频扫描转换处理之外,显示器的画质直接受到转换处理的影响非常大,为实现高画质电影影像,因此研究人员开发全新的倍频扫描转换处理技术。
高画质化技术
(图二)是新开发的高画质倍频扫描转换LSI内部结构方块图,由图可知本LSI是由下列主要单元构成,分别是:
- (1)可以忠实使黑色强度再现,实现无黑色浮现、黑色溃散影像的「高精度数位clamp处理技术」;
- (2)可以大幅降低噪讯、实现鲜明影像的「3次元噪讯降低/2次元噪讯降低处理技术」;
- (3)可以减少接近水平斜线的锯齿状,实现顺畅影像的「适应型倍频转换处理技术」;
- (4)可以大幅降低影像变动,实现自然锐利影像的「动态轮廓补偿处理技术」。
接着依序介绍上述平面显示器高画质影像处理技术。
高精度数位clamp处理单元
以往为了将类比影像转换成数位影像,通常会进行可以使类比影像黑色强度变成数位数值的类比clamp处理,不过一般类比元件的特性随着周围温度变化,黑色强度随着经时变化发生变化(使用时间的变迁,以下简称为经时变化),严重时甚至发生影像黑色浮现、黑色溃散等问题。
研究人员发现经过类比的clamp处理之后,再以数位方式进行作clamp处理,就不会对经时变化有依存性,而且可以忠实使影像的黑色强度再现。 (图三)是高精度数位处理单元的方块图。
黑色强度计算单元
黑色强度计算单元可以将影像的黑色强度,在规定期间(back poach)内的数位值平均化,并依照各line计算。
防横拉噪讯单元
噪讯直接影响各line的黑色强度,如果黑色强度急遽变动影像会发生横纹(横拉噪讯),因此研究人员将1条line与目前line的黑色强度加重相加,借此防止急遽的黑色强度发生变动,大幅降低防横拉噪讯。
三次元噪讯降低处理技术
去除噪讯常用手法利用时间方向巡回型滤波器,不过信号强度发生类似人体肌肤般的平顺波动影像晃动时,会出现所谓的「残影」现象,主要原因是将动量、噪讯与目前field/ 2field前的影像之间差分值当作base检测,却无法将动量当作噪讯去除所致。
此处使用与噪讯检测相异的差分值,亦即将2 field前的影像与4field前的影像之间差分值当作base检测,如此一来就可以检测已经抑制噪讯影响的动量,进而实现无残影鲜明的影像。 (图四)是降低三次元噪讯处理单元的方块图。
噪讯检测单元
一般噪讯的强度大多都很低,差分值低于一定值以下时,可以直接将差分值当作噪讯检测,差分值一定值以上时,可以推测它已然受到影像变动的影响,因此此处利用控制方式使差分值变成越大噪讯变小,如此一来就可以降低变动影像造成的残影。
系数计算单元
系数计算单元主要功能是将2 field前的影像与4field前的影像之间差分值当作base,计算去除噪讯的强度调整系数。
事实上即使是变动影像在信号强度平顺变化部位,目前field与2field前的影像之间差分值会变小,而且会在上述噪讯检测单元被当作噪讯检测时产生残影,一般而言在目前field产生的噪讯,大多不会出现在2field前的影像与4field前的影像上。
由于2field前的影像与4field前的影像之间的差分值,直接反映噪讯影响较低的动量,因此研究人员利用控制技巧使差分值变成越大强度调整系数变小,如此一来就可以大幅降低在信号强度变化非常平顺的影像中产生残影的机率。
二次元噪讯降低处理技术
上述三次元噪讯降低处理单元不容易降低变动影像的噪讯,此处利用变动资料在field内去除噪讯,实现即使是变动也没有噪讯的鲜明影像。 (图五)是降低二次元噪讯处理单元的方块图。
高频成份计算单元
如(图六)所示高频成份计算单元以噪讯降低对象画素为中心,针对4方向利用二次微分计算高频成份。
噪讯检测单元
噪讯检测单元主要功能是针对从四方向检测出来的各高频成份,进行与上述三次元噪讯降低处理的噪讯检测相同的作业。
噪讯平均化单元
上述噪讯检测单元检测出来的各噪讯内部,含有若干可以使影像先锐感提高的高频成份,此处将检测出来的各噪讯平均化,借此降低高频成份的影响,在不会伤害影像先锐感前提下大幅降低噪讯。
@中標:适应型倍频转换处理
@內文:由于投影机与液晶显示器可以显示电影等交错式影像,因此必需将影像转换成循序式(progression)影像(亦即所谓的倍频扫描转换)。
如(图七)所示一般倍频扫描转换方式的动态影像,接近水平的斜线经常出现锯齿状的jaggies现象,它是在倍频扫描转换对象field内的line之间,进行线形补位处理时经常出现的影像瑕疵,因此研究人员利用斜向画素的互动关系,开发适应型循序扫描转换技术,实现如(图八)所示平顺影像显示;(图九)是适应型倍频扫描处理单元的方块图。
补位值计算单元
补位值计算单元主要功能是将邻接补位对象画素,上下较小2画素值当作较大画素值,接着以该范围(以下简称为补位值存在范围)内存在的值当作倾斜补位值,借此使斜向画素之间的差分绝对值变成最小,接着再将此时的差分绝对值当作倾斜相关值计算。
如图所示假设图中的瞩目斜向各画素值分别是,在该方向的补位对象画素倾斜补位值为,如此一来倾斜相关值可用下式表示:
(图十一)是倾斜相关值与倾斜补位值的关系,补位值存在范围的抓取区间一般是区间1~5,因此必需计算可取得各区间最小倾斜相关值。至于区间1与5,倾斜相关值成为最小的值会变成一个,因此可以将此时的值当作倾斜补位值。有关区间2~4,由于存在复数个成为最小的值,所以将倾斜相关值成为最小的值的平均值当作倾斜补位值。
补位值存在范围若在1~5的场合,此时的倾斜补位值与倾斜相关值的计算如下:
如果使用偏离补位对象画素进行补位时,极易发生dot妨碍等问题,不过若以补位值存在范围限制倾斜补位值,就可以大幅降低dot妨碍。
此外本补位值计算单元还针对左右24个方向,合计48个方向进行上述作业,因此它可以支援未来全功能高画质影像显示的需求。
补位值选择单元
补位值选择单元主要功能是将上述补位值计算单元计算的48个倾斜相关值之中取它最小值的方向计算,再将依此获得的倾斜补位值当作补位画素值。取最小值的方向若复数存在时,则将接近补位对象画素方向计算的倾斜相关值当作补位画素值。
此外具有最小倾斜相关值的方向,表示line存在方向非常明确,因此利用该方向的画素补位,可以大幅降低jaggies现象。
动态轮廓补偿处理单元
提高影像锐利度一般手法利用二次微分使轮廓补偿信号调整gain,接着再根据原影像进行加算计算,不过锐利度提高的同时,在斜线却出现不稳晃动现象(图十二),因此研究人员针对轮廓补偿对象画素周围画素的强度变化,控制轮廓补偿信号的gain,大幅降低斜线不稳晃动现象(图十三),进而实现自然锐利感的影像显示,(图十四)是动态轮廓补偿处理单元的方块图。
最大强度计算单元
最大强度计算单元主要功能是计算「产生轮廓补偿信号时,使用的画素之间最大强度变化」。
Gain计算单元
Gain计算单元主要功能是根据最大强度变化,计算轮廓补偿信号的gain。最大强度变化的大部份具备锐利度,因此加大gain反会造成轮廓补偿过剩,导致低斜线不稳晃动现象更加明显。此处巧妙控制使最大强度变化变大gain却变小,同时大幅降低低斜线不稳晃动。
本LSI必须配合容量为32mb与data bus宽32Mbit SDRAM等外部记忆体使用,输入影像的位元宽若是8位元以下,使用2个,9~12位元使用3个。
结语
以上介绍可以使电影影像高画质化的影像处理技术,以及结合该技术实现即时高画质倍频扫描转换LSI的设计技巧,达成「无影像黑色浮现、黑色溃散」、「无噪讯、影像鲜明」与「无jaggies、影像平顺」等目标。
本LSI适合应用在液晶电视、电浆电视、前投/背投电视等各种平面显示器。随着显示器的大画面化,一般认为对影像高画质化的要求势必不断增加,因此今后必需开发更高画质化的影像处理技术。