高通技术公司推出高通视觉智慧平台(Qualcomm Vision Intelligence Platform),其中搭载了公司首款采用先进10奈米FinFET制程技术、专门针对物联网(IoT)所打造的系统单晶片(SoC)系列。
|
全新的10奈米系统单晶片设计旨在为新一代机器人、智慧相机和智慧家居提供高性能与高效能的边际运算能力 |
QCS605和QCS603系统单晶片能够针对广泛的物联网应用,为装置内建的相机处理和机器学习提供强大的运算能力,同时具备出色的功效和散热效率。此两款系统单晶片整合了高通技术公司迄今为止最先进的图像讯号处理器(ISP)和高通人工智慧(AI)引擎,以及包括基於ARM的先进多核CPU、向量处理器和GPU在内的异构运算架构。该视觉智慧平台还包括高通技术公司的先进相机处理软体、机器学习与电脑视觉软体开发套件(SDK),以及高通技术公司经验证过的连接和安全技术。该平台经优化後可为工业级与消费级智慧安防相机、运动相机、可穿戴式相机、虚拟实境(VR)360度与180度相机、机器人和智慧萤幕等领域带来令人振奋的全新可能性。包括科达(KEDACOM)和理光(Ricoh)THETA正计画开发基於高通视觉智慧平台的产品。
高通技术公司产品管理??总裁Joseph Bousaba表示:「透过协助客户打造强大的装置内建智慧、相机处理与安全功能,我们的目标是让物联网终端变得更加智慧。人工智慧已支援具备物体侦测、追踪、分类和脸部识别能力的相机,可自动避障的机器人,以及可学习并生成消费者最近一次探险活动影片摘要的运动相机,但这都还仅仅是个开始。高通视觉智慧平台是我们多年来先进研发的成果,汇集了相机、装置内建人工智慧和异构运算领域的突破性进展。该平台是支援制造商和开发者打造全新智慧物联网终端世界的首选媒介。」
强大的高通人工智慧引擎(AI Engine)
该视觉智慧平台整合了由多个软硬体元件组合而成的高通人工智慧引擎(AI Engine),以加速终端装置人工智慧。高通人工智慧引擎包括高通Snapdragon神经处理引擎(NPE)软体框架(针对采用TensorFlow、Caffe和Caffe2框架进行的开发,配有分析、优化以及调试的工具)、ONNX(Open Neural Network Exchange)交换格式、Android神经网路API和高通Hexagon Neural Network Library。以上所有设计旨在支援开发者和OEM厂商,使其能够轻易地将训练网路接入到此平台。透过高通人工智慧引擎和Snapdragon神经处理引擎软体框架,该视觉智慧平台可为深度神经网路推理提供高达每秒2.1万亿次运算(TOPS)的运算性能,与其它领先的替代解决方案相比提升超过两倍。
卓越的图像品质
该视觉智慧平台可支援高达4K@60fps或是5.7K@30fps的影片,以及更低解析度的多个并行影像串流。为了实现卓越的图像品质,该平台整合了高通技术公司迄今打造的最强大相机处理器支援双1600万像素感测器的双14位元高通 Spectra 270 ISP,其顶级ISP功能演进在过去数代中一直居於DxOMark基准测试的领先位置。此外,该视觉智慧平台包括物联网细分领域所必需的先进视觉处理功能,例如可防止高动态范围影像出现「叠影」效果的交错式HDR(staggered HDR)、先进的电子影像稳定、畸变校正、降噪、色差校正,以及硬体移动补偿式时间滤波(MCTF)。
异构运算架构及其关键特性
该视觉智慧平台QCS605晶片组的异构运算架构,整合八核高通Kryo 360 CPU、高通Adreno 615 GPU和Hexagon 685向量处理器。该视觉智慧平台的整合式显示处理器可为一系列显示萤幕选项(包括高达WQHD解析度的触控式萤幕)提供硬体加速合成、3D覆盖,以及包括OpenGL、OpenCL和Vulkan在内的主流图形API支援。该架构支援多种高级作业系统,旨在让开发者和制造商在其解决方案中轻松打造差异化特性,例如VR 360度摄影机的终端内容拼接,自动机器人导航与避障,以及运动摄影机的影片摘要。
该视觉智慧平台支援具备MU-MIMO和双频段同步传输特性的2x2 802.11ac Wi-Fi、蓝牙(Bluetooth)5.1、高通3D音讯套件、高通Aqstic?音讯技术和高通 aptX?音讯。该平台还具备高通噪音抑制与回音消除技术,以及先进的装置内建音讯分析与处理特性,支援自然语言处理、音讯语音辨识和语音??播功能,打造可靠的语音介面,甚至在吵闹或嘈杂的环境,或当使用者远离装置时也可实现。
该平台基於硬体的安全特性可通过下列功能支援可靠的物联网终端,包括硬体可信根的安全启动、可信执行环境、硬体加密引擎、存储安全、贯穿生命周期控制的调试安全、金钥分发和无线协议安全等。
生态体系和上市情况
为加速开发并进一步实现产品差异化,制造商可依靠技术厂商组成的生态体系,透过其提供的技术,作为此视觉智慧平台补充的解决方案。上述技术厂商包含了人工智慧公司,像是支援脸部、图像和物体识别的商汤科技(SenseTime),或是支援如运动和物体侦测、分类与追踪等各种视觉任务的Pilot.ai公司,以及支援先进图像品质校准服务的公司MM Solutions等。
目前,高通QCS605和QCS603正进行送样阶段,多个SKU可以满足对技术和成本的不同需求。高通技术公司与领先的相机ODM厂商华晶科技合作,基於QCS605产品的VR 360度相机叁考设计现已上市,此外也预计将於2018年下半年推出基於QCS603的工业级安全相机叁考设计。。