CTIMES- 給你即時無死角的368度全景影像 :影像處理器,信驊

Cupola 360是信驊科技旗下的全景智能影像處理解決方案，而這次我們主要會聚焦在它的處理器晶片上。Cupola 360解決方案是在2018年時推出，旗下共有三大系列，一個是全景影像處理晶片，以及Cupola 360+軟體解決方案，與全景相機產品。本次主要介紹的是影像處理晶片這個系列，目前共有兩款產品，一個是2019年發表的第一代晶片AST1220，另一款則是2022年底發表的AST1230新品，也是我們今天要介紹的主角。

AST1230是一款全景影像拼接處理單晶片，是專為高性能視訊會議應用所設計的IC，最主要的功能就是提供強大的圖像訊號處理（ISP）、智慧佈局處理引擎等功能，透過他們獨家的Hyper-stitching技術，可以實現即時圖像拼接的處理能力，除了結合圖像拼接功能和先進可編程音訊DSP能力之外，這款晶片也具有絕佳的功耗和熱效率。

AST1230最高可支援30fps和4800萬像素的CMOS影像感測器，可以處理高達 8K2K的超高解析視訊。由於具備高性能的音訊DSP，因此也可以處理8個數位麥克風（MIC）輸入，另外它也具備高性能音頻處理算法，包括遠場語音、波束形成、自動增益控制 (AGC)、噪聲抑制和迴聲消除等功能。

那到底為什麼影像拼接需要特別出一顆晶片來處理呢？我們就簡單的來說明一下。

所謂的「影像拼接（image stitching）」是指將兩張或更多的有重疊部分的影像，拼接成一張全景圖或是高解析度影像的技術。而影像拼接有兩大步驟：

1.影像對準（image alignment）

2.影像混合（blending）

但要把這兩個程序做到精準又即時，除了要具備一定的算力之外，在影像的分析與處理方面也要有獨到之處。因為它需要對至少兩個以上，以360度全景視訊來說，通常就是4個影像訊號，去進行視訊的特徵取樣分析，接著再把它們對準並混合。

圖二 : 影像拼接原理示意圖

如果是一個很大的畫面，或者訊號更多的情景，則所需要的算力就又更高，此時則延遲與功耗的問題都會是挑戰。基於如此，信驊也就推出了Cupola 360全景影像處理單晶片。

前面說到，AST1230是第二代的新產品，那我們也來看看它有哪一些的新功能。AST1230其實做了很多的升級，首先在處理核心方面，它改用了晶心科技的「Andes N25F」32位元RISC-V核心，因此很大程度的在功耗與效能上取得了改善，在DRAM記憶體方面，則改採外部的8Gb的DDR4來提升速度；影像感應器方面，一樣是4道MIPI介面，但每道可支援2.5Gbps，可以處理的解析度也提升到了8K2K。

快閃記憶體方面，則從原本的eMMC SPI Flash，改為外部的32MB SPI NOR Flash記憶體；音訊的部分，使用CEVA的「BX1 DSP」，最高可支援8個數位麥克風輸入。另外USB則升級為USB3.2 Gen 1．最高速度達5Gbps。此外也加入了AI晶片的通訊介面。

至於它的應用，最初Cupola 360是商務和消費型市場為主，最主要就是做為360度沉浸式智能攝影機的處理核心，因此這個晶片系列也都是以全景視訊會議應用為主，為此，信驊科技也跟合作夥伴共同開發出了很多樣的全景視訊相機過去。

但近來隨著智慧工廠與智慧城市應用的落地，Cupola 360也轉往工業與公共事務領域發展。

透過搭載AST1230的360度智能攝影機，並結合相關的AI軟體，就能實現多點跳躍巡檢、遠端監看，或者遠端廠稽核等功能，或針對高危險場域進行虛擬機器人場域巡邏等，進而降低廠房或安全人員的負擔，解決目前產業缺工問題。

CTIMES 五項評比人文科技指標：3.5★

名稱：信驊科技「Cupola360全景影像處理器」

評比：

1.創新指標：4

2.精進品質：3

3.環保意識：3

4.人文關懷：5

5.服務評價：3

編輯評語

在這個「處處是鏡頭，視訊時時有」的年代，多影像的拼接，或者全景視訊的成生，都將會成為商業與工業領域的必然需求。然而高品質與實時的全景影像絕不是這麼輕而易舉就能達成，更何況還要考慮功耗與音訊的問題。而信驊科技的AST1230可以說是完美的迎合了這個需求，它讓全景影音的生成與運用變得更加便利與輕易，可以說讓全景影像的應用多了更多的可能，尤其是它還考慮到了AI應用的空間，讓它的發展更為寬廣。