电脑视觉是什麽？实际上大多数人每天都会用到这项科技，举两个例子：一个是智慧型手机上的脸部辨识。如果手机上有这一功能，平时也会用於解锁萤幕或是电子支付，那麽你就正在使用电脑视觉。另一个是当平时去超市或者超商付款，收银员会用扫描你所购买的产品条码，这类日常生活情境都会用到电脑视觉。本文专访了意法半导体亚太区影像事业部技术行销经理林国志，与意法半导体亚太区影像事业部资深技术行销经理张程怡，为所有读者分享意法半导体电脑视觉全域快门影像感测器产品与应用趋势。

图二

我们可以看到电脑视觉的定义，电脑视觉是人工智慧的一个分支，能够让电脑和系统从数位影像、视讯和其它的视觉输入资料中提取有意义的资讯，并根据这些资讯采取行动或提出建议。

在脸部辨识中具有意义的资讯就是脸，系统会对脸进行影像采集，然後进行资讯处理，得出的结果就是验证使用者身份，接着解锁手机。通常情况下电脑视觉都会产生资讯输入和输出，就拿条码扫描机来说，扫描条码即是资讯输入，镜头采集条码的影像，系统读取以辨识产品和价格。

接下来说明电脑视觉的应用范例，这些应用均使用到全域快门感测器的技术。实际上，电脑视觉的应用情境无处不在，可以将其归为四大类。

第一类叫做深度感测，这项应用时间比较久。透过使用两个全域快门感测器搭建一组立体视觉系统，或者是使用一个全域快门感测器搭建结构光镜头系统。通常深度感测可以用於脸部辨识和3D扫描这类应用情境。

图三

第二类叫做生物辨识，这项应用采集人体各个部位的资讯并将其用於身份辨识。人脸资讯可以用於脸部辨识或者2D智慧解锁，体形资讯可以用於人存在侦测，除此之外还有手势侦测、掌纹辨识、虹膜辨识等等。这些人体资讯都是独一无二的，包括人脸、掌纹和虹膜，皆可用於身份辨识。还有驾驶与车舱监视，采集司机与乘客的行为资讯，产生的结果就是系统发出的各类警示。

第三类就是扩增实境（VR）、虚拟实境（AR）和混合现实（MR），最近这类话题很红，因为其涉及元宇宙的概念。

当戴上VR头部显示装置之後我们看不见周围环境，只能依靠光学感测器让你知道环境的变化。通常VR头戴式显示装置在内部和外部分别有一个镜头，内建镜头用於眼球追踪，并透过两个全域快门感测器进行眼球观测，因为在实际应用情境中需要感知你的眼睛看哪个方向，透过眼球追踪得到的资讯将提供不同的反??。外置镜头用於外部世界追踪，主要感知外部环境而非使用者眼球的变化。

这里有两类重要应用情境：一类叫做6DoF，针对的是头部行为。当使用者戴上VR头戴式显示装置後就会获得6D感知能力。头部可以做出左右、上下、前後六个角度的动作，因此被称为「6DoF」（六个自由度追踪）。另一类称为「SLAM」（同步定位与地图构建），例如使用者需要掌握所处房间的状况，墙壁在哪里、沙发在哪里、自己所处哪个位置，戴上VR头戴式显示装置走动的时候如何避免撞墙。因此在使用AR／VR５装置的过程中，手势侦测、掌纹辨识、脸部与情绪追踪等功能是非常重要的。

除此之外，使用VR／AR装置还可以进行生物辨识，例如手势侦测或者手势追踪。通常在这种情境下，装置可以透过使用者一个手势辨识出这是哪种行为目的。例如使用者进行一场演讲，透过一个手势就可以自动翻到下一页简报档或者翻回到首页，又或是透过手势告知助理按一下或按两下滑鼠。这些应用都是透过手势侦测实现，装置无需揣测使用者想表达的资讯，只需追踪手势即可。

最後一类应用是机器人与工业控制。例如无人机和扫地机器人在使用过程中需要避免相撞，所以要有物体侦测和情境分析能力，而这些都需要使用全域快门感测器。之前提到的条码辨识也属於工业控制中的电脑视觉应用。

图四

除了全域快门之外，还有卷帘快门，因为总共分为这两种镜头。卷帘快门的设计目的是为了捕捉静态影像和视讯拍摄，因此需要非常高的解析度和颜色处理能力。我们身边大多数镜头都属於卷帘快门，例如智慧型手机的主镜头、自拍镜头、建筑中的监控镜头，甚至数位相机都是采用卷帘快门技术。因为这些应用情境都需要捕捉彩色影像，因此需要相当高的解析度。

唯一的问题在於，采用卷帘快门的电脑视觉技术都是逐行拍摄影像。照片采用卷帘快门逐行拍摄的话，整个影像只有一帧。如果拍摄物件是车辆这样的快速移动物体，影像可能会扭曲，无法显示拍摄物件原本的样子。如果影像扭曲就无法显示物体的真实状态，也就不能用於电脑视觉，无法判断影像中的是不是另一辆车。

因此卷帘快门没有被应用於电脑视觉技术中。全域快门的原理完全不同，一次拍摄整幅影像，且拍摄时间非常短。只要拍摄物件不是快速移动的物体，成像效果非常准确，因此完全可以用於电脑视觉。

图五

接着来了解意法半导体的影像感测器产品。ST在影像领域已有超过二十年的发展历史。1999年收购VISION，2002年开始为智慧型手机产业供应镜头模组，2012年将业务从手机通讯拓展至医学、航空、个人电脑和其它领域，2014年又推出ST dToF直接感测器感测器，2018年推出ALS感测器，2020年推出最新的全域感测器。

图六

ST影像感测器产品包括三大家族：一是飞行时间感测器，包括dToF直接感测器和iToF间接感测器。二是全域快门影像感测器，包括主动立体视觉或结构光镜头。三是环境光感测器，包括自动调整平衡技术。

图八

下面来看ST消费和工业用全域快门影像感测器。目前ST共有两类产品：一类是VD55G0， 40万像素。另一类是VD56G3， 150万像素。两种产品采用的都是ST 3D技术，最初的设计包括两层阵列，之後ST将其合二为一形成单一阵列。

这些产品拥有三大优势：首先ST的感测器940nm具有最高的量子效率，这会带来极高的NIR敏感度。电脑视觉主要采用NIR技术，後面我会详细讲解。其次是正方形感测器的解析度与镜头最隹配对，之所以采用正方形是因为电脑视觉的采集物件通常是正方形，例如人脸通常就是的正方形。ST感测器拍摄时间很短，能够在确保准确成像的同时降低系统功耗。

图九

除了以上这些影像输出功能，我们还可以进行资料输出，其中之一就是光流输出，透过运算动作向量获得资料。图中显示人的肢体动作，感测器可以采集资讯、输出资料，利用光流进行手势辨识和追踪。

图十

接着来看用於智慧家庭和智慧大楼的ST全域快门感测器：智慧家庭的应用需要考虑周全，使用者不希??家里有个镜头全天候监视自己，与此同时又想要镜头和感测器带来的益处，因为很多辅助功能可以让使用者的生活变得更加舒适。全域快门感测器能够实现这一点，图十中都是采用电脑视觉开发的功能，透过追踪技术实现人机互动。

图十一

接下来是用於笔电和个人电脑镜头的ST全域快门感测器。我们将所有ST影像产品都应用於此，例如之前提到的全域快门产品，ToF、ALS等等，包括各种叁考设计。笔电和PC应用全域快门技术的意义，可以进行脸部辨识、手势控制、眼动追踪、舒适度监测和隐私保护。ToF和ALS则可进行存在侦测、电池续航、萤幕亮度自动调整和隐私保护。

图十二

另外，ST还有一种产品叫做ST AI镜头，包括三大类：一是感测，二是运算，三是通讯，电脑视觉技术基本上需要这三步。首先要有许多感测器进行资讯采集，包括ToF、IMU这些全域快门感测器，然後将资讯传送至MCU这些AI深度学习演算法以取得产出，最後再将结果传送至无线装置。

图十三

接着介绍ST的客户合作：ST标准感测器开发评估套件目前已经上市，这款产品完全根据客户需求而开发。ST交货的产品还有裸片，客户可以选择协力厂商所提供的封装感测器或是镜头模组，包括PCB、影像感测器、镜头和介面，共同打造整套工业用镜头产品供应链。

图十六

接着要来探讨的是汽车领域的应用，车内感测器主要包括四大类：刚才提到的车内镜头，ADAS镜头、观测镜头和售後镜头，主要用於行车记录器。其中除了车内镜头属於新品，其它产品都已经相当成熟。

图中右侧显示目前的市场趋势，黄线代表车内镜头市场趋势。可以看到2021年底车内镜头的市场渗透率约为10%，而到2024年就会达到50%。因此这一新兴市场发展是十分迅速的，产业生态中的关系人正纷纷涌入。

图十七

车内镜头并不只一种，Euro NCAP为车辆评估标准体系，曾经对车内监控系统分为两类：一类叫做驾驶监控系统DMS，另一类叫做车内乘客监控系统CMS或者OMS。驾驶监控系统观测物件就是司机，主要监控司机是否注意力集中，是否有分神或是打瞌睡，因为这些现象会严重危及行车安全。而车内乘客监控系统则主要观测乘客状况，特别是儿童，因为有些粗心的使用者下车後会将孩子遗留在车内。

图十八

如图所示，驾驶监控系统DMS镜头安装在驾驶员面前，观测物件主要是脸，镜头必须做得很大，大概50～60度，解析度100～230万画素。重点之一在於这里必须采用NIR镜头，因为不仅需要白天对驾驶员进行监控，晚上也是需要，因为很多人会在夜里开车。在这种漆黑的环境下，必须要有光源投射在驾驶员脸上，但肯定不能使用可见光，所以需要NIR技术。图中就是NIR影像和普通镜头模组的比较，除了一个感测器之外还有NIR光源。

图十九

车内乘客监控系统观测的是车内所有乘员，但不同之处在於，因为这里需要物体探测和辨识，所以需要彩色影像，而且观测范围比较宽广，因此镜头视角需要更大，解析度需要更高，才能获取观测领域内所有细部资讯。

图二十

车内乘客监控与驾驶监控二合一系统，是将CMS、OMS和DMS结合。刚才提到车内乘客监控需要RGB彩色影像，驾驶监控则需要NIR影像，现在仅需单个镜头就可以同时支援RGB和NIR。以上都是车内镜头的要点，下面来看ST全域快门感测器用於汽车领域的两代产品。

图二十二

第一代包括四类产品：VD5661A具有160万像素解析度，主要用於DMS。VD5761A具有230万像素解析度，因为属於Mono（单色）所以也可以用於DMS。ST还有采用彩色RGB的VD6763A和RGB-NIR一体化的VD1762A。可以说ST第一代全域感测器就已经能够覆盖所有客户需求，这里需要注意三个要点。

首先是高对比，感测器能够输出对比度极高的影像意味着能够获取更加准确的资讯，例如取得使用者目视方向必须要有极为准确的虹膜影像。其次是RGB和NIR的资料管理，这些也需要非常灵活。再来是高动态，如果使用者处於非常明亮或者黑暗的环境中需要HDR感测器采集亮暗环境的影像，通常车内都很暗，而车外非常亮，HDR能够在这两种环境条件下取得清晰的影像。

图二十三

第二代产品VB56G4A具备150万像素解析度，主要用於驾驶监控，包括三大要点。首先是高灵敏度，NIR的高灵敏度意味着无需强劲的LED光源，因为LED耗能会带来更高的功耗，高灵敏度则可避免这些问题。其次是感测器面积小，因为整体体积很小，意味着镜头模组也可以做得更小，安装在各种机械装置内更加容易。再来就是内建处理，感测器有着智慧自动曝光演算法，所有处理运算过程都是自动的，无需人工作业。

图二十五

ST标准感测器评估套件现可依需求提供，我们的协力厂商供应商也可提供成品镜头模组。这些已经非常接近最终成品，使用者可以将其安装在车内，然後进行快速测试或安装其它软体，所有产品都是为客户带来便利。

图二十六

总结来看，ST汽车全域快门感测器总共五类产品，解析度为150万到230万画素，能够满足车内所有类型的需求。所有感测器具备AEC-Q100二级汽车认证，拥有HDR高动态范围技术，支援单色和彩色以及一体化成像。ST感测器拥有弹性的闪光照明控制、高灵敏度近红外线感测器和出色的近红外线频谱内MTF性能。

图二十七

ST为全球排名前列的全域快门感测器供应商。关键资讯结论如下：

●当下新兴影像应用不断涌现，尤其是人工智慧和元宇宙，需要大量的电脑视觉技术。刚才已经提到AR和VR，再加上当下很红的元宇宙概念，全域快门技术在这些领域大有可为。

●全域快门感测器以具有竞争力的成本、精确的测量将成为电脑视觉应用的首选成像技术。

●ST全域快门感测器具有意法半导体专有的像素技术、更高的方形解析度以及多种嵌入式电脑视觉功能，完全满足电脑视觉应用要求。

●作为全球重量级供应商，ST在出货、品质和服务都在市场名列前茅。

●最後一点，ST不仅能够提供全域快门技术，同样也提供飞行时间和环境光感测器等光学技术，使用者可以根据自己的需求，将这些不同产品整合在各类情境应用中，满足无限的未来应用需求。