全球IP矽智财授权厂商Arm宣布推出全新Arm Mali-C52 与Mali-C32影像讯号处理器(ISP),藉由完整的解决方案提供最高的影像品质,实现智慧连网装置即时处理更高画质影像的需求。
|
全新Arm ISP技术打造更锐利的数位之眼 |
在人类五种感官中,视觉是演化程度最高、感受最丰富的感官,由超过200万条神经纤维,将视网膜的讯息传送到大脑。而过去数十年来,数位世界一直致力於超越我们自身的视觉处理能力。创造「数位之眼」处理即时的高画质影像,让观看者真实感受环境的状况,是Arm的生态系统致力於推向一兆台联网装置时所面临的众多挑战之一。
Arm预测在所有连网装置中,物联网装置对於嵌入式视觉功能需求最为殷切,安全(监控)与IP摄影机市场预计到2021年的年成长率将达到20%,届时出货量可??超过5亿台。个人机器人年成长率达75%,预计到2021年出货量将成长到200万台。智慧家庭市场预计到2021年之前,年成长率可??达14%,规模将成长到8,800万台,而其他包括无人机、AR/MR设备、以及运动摄影机等装置,将从新兴装置演变成大众化的产品。
将感知转译成画素
上述装置所采用的影像技术中,其中一个关键环结就是嵌入在装置内的ISP技术。在这些受到诸多限制的装置中,ISP的关键功能是在撷取影像感测器的讯号,然後处理每个画素时,提供最精准与最高画质的影像,特别是涉及到机器学习的作业。
全新Arm Mali-C52 与Mali-C32对每个画素进行超过25个处理步骤,其中三项关键步骤对影像输出品质起了决定性的影响,这些步骤包括高动态范围(HDR)、杂讯抑制、以及色彩管理。藉由结合Arm引领市场的Iridix技术以及其他领先业界的演算法,用来消除杂讯以及管理色彩, Mali-C52 与Mali-C32 ISP能有效率地在高解析度以及即时处理(例如4K解析度与60fps更新率)的条件下,达成上述三项目标。
高动态范围技术绝不遗漏任何影像细节
最能凸显HDR功能必要性的情境,就是装在户外有明亮照明处的连网保全摄影机,它输出的画面通常交杂着极光亮以及阴暗的影像区域。人的双眼能自动调适高对比的明亮度,而数位感测器通常需要多次曝光以捕捉这样的场景。
欲真实呈现HDR场景,采用的影像技术会要求每个画素得具备20或24位元的精准度,然而数位系统的显示通常只支援到8或10位元,以致能处理的资料量也受到局限。这也意谓着ISP之後衔接的电脑视觉引擎都局限於8至10位元的精准度。在此情况下,ISP有必要以更高的位元深度处理HDR资料,之後再进行压缩以利後续使用。倘若动态范围的问题没有妥善解决,画面中阴暗区域影像的细节就会消失殆尽。
全新Mali ISP融入了Arm的动态范围管理以及色调映射技术,设计目标正是要克服这些元件的局限性,以及让观看者能看到更清楚的暗部影像,完全无须编修或调整影像的明亮度。
完整且富弹性的解决方案加快产品上市时程
Mali-C52可自行设定,进行两个层面的最隹化:影像品质以及占用空间。这样的弹性让晶片夥伴能在多种产品与使用情境中延用相同的IP与软体。Mali-C32特别针对低功耗、需考量成本的嵌入式视觉装置进行最隹化,像入门级门禁系统或是休闲用无人机。
此两款ISP都是完整的解决方案,Arm提供硬体IP都附有ISP软体驱动程式,其中包括3A 函式库 (自动曝光、自动白平衡、自动对焦)以及各种校正和调校工具。
其中功能特色与利益包括:
1. 更高的ISP影像品质:Iridix技术设计旨在提供模仿人类视网膜对比调适的精准模型,让摄影机能像人眼一样看到高明暗对比的影像。
2. 更高的效能,ISP每秒能处理6亿画素,这项关键功能能以旗舰款智慧型手机等级的画面更新率拍出专业级摄影画质(像是数位单眼)。
3. 完整的软体套件用来控制ISP、感测器、自动白平衡、自动对焦、以及自动曝光。另外还提供包括裸机(bare metal)与Linux(Video4Linux 框架v4L2版本)软体。
4. 弹性调校:运用全套调校与校正工具进行客观与主观的调校。专业的调校训练课程与支援,协助用户针对特殊使用情境与感测器进行专属的调校
一兆台装置需要锐利的数位之眼
Arm的愿景是打造一兆台具备视觉功能的装置。要实现一兆台连网装置世界的愿景,这些装置需要更锐利的数位之眼来看清以及认知周遭环境,以为机器以及人类提供可靠的讯息来源。一切的开头就是尽可能达到最高的影像品质,Arm全新推出的Mali ISP正是为这个目标而生。