主要性能

附图一是一个典型的无线电多媒体处理器的内部架构，它涵盖了下述的主要性能：

（1）高画质的DVD影像：以硬件实现的视讯编译码器，具有低功率、高速率的优点。能拍摄和播放VGA 30fps MPEG-4/DivX、CIF 30 H.264分辨率的影像；并支持PAL/NTSC组合式输出讯号，可外接至一般电视机收看DVD高画质影像。

（2）影像讯号处理器：支持超过500万像素的CCD和CMOS传感器。具有与数字相机一样的「数据暴冲模式」，可以使处理速率加快，因此，「讯框率」能够增加。此讯号处理器还支持自动白平衡、自动曝光、自动聚焦、镜头黑点校正、色彩校正、纠正错误像素、光学缩放、遮光和闪光..........等功能。

（3）语音编译码器：支持常见的多种音频规格，例如：具有64音多标准的MIDI播放器之功能、AMR NB/WB、MP3、AAC、AAC+、立体环场音效。

（4）2D/3D硬件加速器：它是一种低功率和高质量的电玩处理器，每秒可呈现700K个多边形，充填速率可高达每秒100M个像素。还提供符合Open GL ES 1.1和 JSR184标准的接口链接库。

（5）GPS/AGPS：低功率、低成本的GPS处理器能够处理基频讯号，仅需外接一颗射频芯片即可。提供标准的接口链接库和通讯协议程序，能立即发挥定位和查询地理位置之功能。

（6）行动式数字电视：类似数字式机顶盒，能够支持DVB-H、T/ S-DMB数字电视广播服务，仅需外接调频器和解调器即可。还内建低功率的DRM加速器，可以对锁码频道译码。

（7）外围接口：支持常见的输出入接口，例如：USB、UART、I2C、PCM、AC97、SPI、I2S......等。可以藉此外接内存，或其它应用装置或控制器。

（8）开机用的内存之选择：使用ROM开机可以加快开机速度，且安全性高；或者可以使用NAND FLASH开机；或者可使用具有SPI接口的FLASH开机；或者可由基频处理器开机；或可从UART接口开机（专供开发与测试之用）。

（9）大量数据的储存：可以透过CE-ATA、miniPCI或其它标准接口与硬盘连接。另外，还可以与SD/MMC、CompactFlash......等记忆卡连接，且外接的NAND FLASH大小不受限制。

（10）制程技术：若CPU采用ARM9时，其内部速率可以高达270MHz以上。且耗电率低，譬如：内部耗电1V，外部外围耗电1.8至3.3V。采用188 LFBGA封装、10x10mm规格、90奈米CMOS制程。

（11）功率：处理器休眠时（没有系统频率，但除了LCD和语音频号仍正常工作外），小于100μW。由于采用硬件加速器和先进的处理技术，使得工作功率能够大幅降低。

《图一 系统架构》

图像处理单元

比较复杂的多媒体处理器内部都含有图像处理单元，这单元能够处理视讯和图像，并且可以外接视讯/影像传感器和显示器。例如：附图二是一个典型的图像处理单元的内部架构。此图像处理单元具有下列的主要功能：

从CCD/CMOS传感器或电视译码器撷取到的影像数据，可以暂存于外部内存等候微控制器处理，或送至预处理器处理。

前置处理依照最终应用的不同，可区分为两个不同的信道：一个到编码器，另一个到显示器。前置处理包括了下列的工作内容：

（1）垂直与水平比例的任意缩放

（2）色彩空间的转换（YUV转RGB、RGB转YUV、不同YUV格式间的转换）

（3）在一个视讯平面上加入一个图像平面。

（4）90度的旋转、上下和左右翻转。

当微控制器处理暂存在外部内存的数据时，就称为「后置处理」。微控制器会依序使用许多个后置处理信道，当前一个讯框信道处理完毕之后，它会回过头重复使用图像处理单元。后置处理除了包括前置处理的工作内容外，还包含：对来自外部内存的数据进行「后滤波」作业：例如，支持MPEG-4的「解块」和「去环」算法，以及支持H.264的后滤波算法。这些算法都是很费时的，交由图像处理单元处理后，可大幅提高时效。

同步显示视讯和图像时（亦即不记忆，直接输出），具有下列选项：

（1）随时都能组合视讯和图像平面

（2）能产生「硬件光标」：硬件光标的反应速度比软件光标快很多。

（3）画面可垂直和水平地卷动。

异步显示视讯和图像时，有两种机制可以加快处理速度：其一是，将数据和命令交错在一起，命令是由微控制器发出的，暂存在命令缓冲区内；另一是，依照一个预先准备好的参考样本，自动产生命令。如此，暂存于外部内存、或图像处理单元内部、或直接来自于微控制器、或DMA控制器内部的数据都能够送至显示器。所以，这种异步显示也称为「智能型显示」。

在图像处理单元内部，以及外部内存之间传输的数据，其像素格式可以弹性更换。

图像处理单元虽然是一个独立的模块，但它仍要受微控制器的控制。附图二中的IPS总线就是给微控制器使用的，它可以控制图像处理单元。来自传感器的数据是透过SENSB总线送至图像处理单元。图像处理单元处理完毕的结果、或读取先前储存的数据、或从信道接收一笔数据，都是透过「主要的AHB埠（AHB_M1、AHB_M2）」。运用两个主要的AHB埠（双模）和一个次要的AHB埠（AHB_S，单模），可以产生两种工作模式。就双模而言，图像处理单元会轮流使用AHB埠，这可以减少延迟，提高内存接口的传输速率。透过一根外部的接脚，以及周边总线缓存器的一个控制位，就可以选择双模或单模。但如果此外部接脚被设成单模，则此控制位将无效。

此外，微控制器可以透过AHB_S埠直接与图像处理单元沟通。图像处理单元的输出数据是透过显示总线（DISPB）送至同步或异步显示器，或送至电视编码器。图像处理单元的中断讯号是透过IPI总线送至微控制器。IPG总线负责提供系统频率和重置讯号。IPT总线支持扫描和自我测试的功能。DIAGB总线是为了除错之用，它可以实时监控内部讯号。这是经由DIAGB总线缓存器选定一组待测的内部讯号，之后，DIAGB总线的32根接脚就分别代表不同的内部讯号。一般而言，为了节省芯片的体积大小，DIAGB总线是与其它讯号共享GPIO的，它们是以不同的参数设定来做区分的。

以不同的总线，与外部的微控制器、内存控制器、频率控制器等连接的方式是不尽相同的，必须按照这些外部组件的技术规格而定。

管理流程

底下将介绍图像处理单元的管理与工作流程。附图三是一个典型的例子，其流程共可区分为四个阶段：系统设定、工作设定和初始化、正常作业、停止。

《图二 图像处理单元 》

《图三 图像处理单元的管理流程》

图像处理单元的管理流程

系统设定：依据外围装置的规格，设定参数于缓存器内，譬如：显示器的型态、总线宽度、时序等。这些系统参数和接口设定都是固定的，而且与特定的应用无关。系统设定可细分为下列三个：

（1）共享参数：选择像素的二进制次序和单模/双模AHB模式。

（2）传感器接口：依据传感器型态，设定右列参数：传感器的组态、传感器的讯框大小、BT.565码、闪光参数。

工作设定和初始化：这包含许多动态参数的设定，皆与特定的应用相关。开机、系统初始化、显示器和传感器的初始化等，都是在这个阶段完成。而且，必须在这时，对图像处理单元内部的所有模块做设定，这包含：

（1）相机传感器接口：定义真实讯框的大小、输出数据的特性。

（2）影像转换器：启动适当的工作选项、定义每一个工作的缩放比例、定义广域的alpha和主色彩值、加载适当的影像转换工作参数。

（3）后滤波：设定后滤波的型态、针对H.264标准启动暂停和定义「暂停行」。

（4）异步显示控制器：定义基本的信道参数、对所有使用到的信道设定起始地址和起始时间、设定微控制器的存取参数。

（5）同步显示控制器：定义与输入数据的格式相关的基本参数、定义广域的alpha和主色彩值、定义前景和背景窗口的位置、定义光标位置、光标闪烁、光标色彩和「脉冲宽度调变」的参数。

（6）显示器接口：设定初始频率。其余参数都是静态的，必须在前述的「系统设定」阶段设定完成。

（7）影像DMA控制器：设定信道仲裁的选项、DMA信道的优先次序、加载适当的信道参数、加载适当的译码查看表。

（8）控制模块：此时，讯框同步链结和中断参数会被设定。这包含：对每一个DMA信道设定其为单模或双模、对每一个DMA信道清除目前的缓冲区位值、设定工作链结、启动适当的中断。

（9）传感器的初始化：包括开机、传感器与图像处理单元韧体之连接。此时，图像处理单元无法控制传感器，而是透过传感器的I2C接口达成的。

（10）显示器的初始化：包括开机、显示器与图像处理单元韧体之连接。此时，图像处理单元无法控制显示器，而是透过微控制器的韧体与连接在GPIO接脚上的显示器达成的；或者透过一颗外接的电源管理芯片完成的。图像处理单元是透过异步接口，来设定智能型的显示器，并使它初始化，这包含：启动显示器接口、以低阶的存取缓存器来对显示器做程序设定（但在程序设定时，必须经由GPIO同步地控制显示器）。

正常作业：在此阶段，图像处理单元执行先前设定的所有工作，这包括：

（1）启动工作：按次序完成：启动图像处理单元、启动会用到的影像DMA信道、启动必需的影像转换作业、将视讯和图像充填至图像处理单元的输入缓冲区内，并将相对应的可用缓冲区的旗标位值设为一、启动背景和前景平面。于是，所有的工作就开始了。

（2）继续工作：有些工作并不需要微控制器的韧体参予，就能自动地继续执行。例如：当新的感测讯框到达时，「取景工作」就会被唤起，继续执行。对其它工作（例如：后置处理）而言，在前一个讯框被处理完毕之后，微控制器就须唤起它们，继续执行。详说之，必须完成右列诸作业：

【A】其中一个工作若收到讯框结束时的中断讯息，就从相对应的缓冲区读取输出数据，并将相对应的可用缓冲区的旗标位值设为一（表示该缓冲区恢复为可用）。此外，读取「中断状态缓存器」的值，就可以判定此中断的来源。

【B】如果需要，可以利用前一个讯框结束时的中断，在下一个想要的感测讯框处产生闪光。

【C】将新的视讯和图像充填至图像处理单元的输入缓冲区内，并将相对应的可用缓冲区的旗标位值设为一。

（3）重新设定和继续工作：在重新设定工作之前，必须先将它停止。当相对应的「忙碌位」值不再代表忙碌时，此工作或信道才可以再次被程序设定。对DMA信道而言，可以随时更改空闲的内存缓冲区的起始地址。对同步显示控制器而言，也能随时更改平面位置和光标参数。微控制器也可以更改任一个「高速处理频率」值（但是在更改当时，该频率不能被使用）。

停止工作：必须完成下列工作：

（1）停止影像转换工作，此工作在完成目前的讯框后就会停止。

（2）将相对应的可用缓冲区的旗标位值设为零。在完成目前的讯框后，所有执行中的工作将立即停止。

（3）停止使用背景和前景平面。

（4）停止使用相对应的影像DMA信道。

此外，还须停止传感器、显示器和图像处理单元内部的所有模块：

（1）停止传感器：包含关机、与图像处理单元脱离（这也是透过I2C达成的）。

（2）停止显示器：包括关机、与图像处理单元脱离（这也是透过微控制器，或外部的电源管理芯片完成的）。图像处理单元只能经由异步接口和低阶的存取缓存器，将智能型显示器关闭。

（3）停止图像处理单元：清除相对应的位值，即可将图像处理单元关闭。

控制模块

控制模块是视讯和图像处理的调派中心。如附图四所示，控制模块包含了讯框同步单元、中断产生器、除错单元、一般组态缓存器（GCR）、频率和重置控制单元、自我测试单元。

图像处理单元内部的不同模块和微控制器所执行的全部工作，都是经由讯框同步单元来达到同步处理的目标。它不需要微控制器插手，就能自动建立起复杂的影像同步处理流程。讯框同步单元为影像讯框提供了双缓冲区----它们是在外部内存内，并能够自动地将图像处理工作，按照前后顺序链结在一起。附表一是图像处理工作链结的实例。

《图四 控制模块 》

《图五 讯框同步单元的初始化 》 - BigPic:568x186

讯框同步单元的初始化

讯框同步单元提供两种同步模式：手动（微控制器所执行的工作）和自动（当前一个工作完成之后，会自动执行下一个工作）。于附表一的第一个实例里，从传感器（CSI）撷取到的影像是被送到内存暂时储存，并没有被立即处理。这个流程的工作链结是以CSI->IC->MEM来表示，且所使用的影像DMA信道是输出埠DMAIC_7。