圖一 : Raspberry Pi AI Camera(圖片來源:樹莓派官網) |
|
樹莓派本來就有官方的攝影機(或稱影像感測器image sensor)模組,已經推到第三代,但就在九月底樹莓派官方再推出人工智慧攝影機Raspberry Pi AI Camera(事實上此前的三月份嵌入式世界Embedded World大會期間已略有展示),建議價70美元,RPi AI Camera與原有的攝影機有何不同?本文將對此推探。
減輕主晶片的運算負荷
RPi AI Camera第一重點是使用Sony的IMX500智慧視覺感測器(Intelligence Vision Sensor),感測器內除了有1,230萬畫素的影像感測器外還有專屬的硬體加速電路(DSP)跟專屬的8MB記憶體(SRAM)(註1),如此在進行AI相關電腦視覺(CV)運算上可大幅降低對主處理器、主控制器的倚賴。
註1:其實模組上還有一顆樹莓派專屬的控制器晶片RP2040,即Raspberry Pi Pico的主晶片,但該晶片在模組中是負責神經網路管理與模組韌體管理等工作。
圖二 : Raspberry Pi AI Camera模組上的RP2040控制器晶片(圖片來源:樹莓派官網) |
|
如果是第五代樹莓派(RPi 5),其實可以透過在六月份發表的人工智慧套件RPi AI Kit來獲得硬體加速,但如果是更早先的樹莓派單板電腦,因為不具備PCIe介面,無法加裝RPi AI Kit(註2),那就真的只能使用RPi AI Camera了。
註2:如果PCIe介面已經拿去連接其他裝置,通常是固態硬碟SSD,那也是只能使用RPi AI Camera,除非再用上一些變通的分接技巧則另當別論。
事實上多數的Edge AI、TinyML應用都與電腦視覺有關,若是傳統自然語言處理(NLP)應用,其所需的運算力通常不用太多,甚至可能不需要硬體加速器,至於資料科學(DS)應用則較少用於Edge AI、TinyML。
若是近一、二年開始走紅的大型語言模型(LLM)、生成式人工智慧(GenAI)等,業界一般認定需要40TOPS以上的運算力才能務實地即時反應,如此即便用上RPi AI Kit也是效能不足,AI Kit約13TOPS。而RPi AI Camera更是針對CV應用為主,其硬體加速特性不易在LLM、GenAI發揮。
Sony讓創客輕鬆轉向產業實務應用
Sony不僅提供IMX500硬體還提供配套的開發軟體與服務平台,開發軟體為Brain Builder for AITRIOS(Local Studio),服務平台為AITRIOS。
開發軟體安裝在開發者端的電腦裡,可以讓開發者快速有效地進行圖片資料標記、有效地訓練AI模型,Sony官方強調不用寫程式(No Code),只要四步驟就能讓模型從新增到佈署,步驟分別是1) 選擇資料集 2) 開始訓練 3) 檢視訓練成效 4) 模型輸出。另外,開發軟體可以把過往用TensorFlow或PyTorch等框架訓練成的模組轉換過來使用。
至於AITRIOS平台可以讓管理者大規模地管理裝置與模型、可以在平台上建立各項專案、設定專案成員角色與權限、在線上市集(Marketplace)購買現成可用的應用程式等。
尺寸厚度略要注意
與過往樹莓派攝影機模組相同的,RPi AI Camera也是用CSI介面與樹莓派連接,而且模組的長寬尺寸也跟過往的攝影機模組相同,這表示本來的專案理論上可以直接拆起原有的攝影機,改換裝新的RPi AI Camera。
圖三 : Raspberry Pi AI Camera用軟板接上樹莓派的CSI連接器介面(圖片來源:樹莓派官網) |
|
不過,因為RPi AI Camera有AI加速設計,即前述的硬體加速電路、記憶體等,所以厚度是比過往的模組厚一些。所以,如果過往的專案若內部空間很緊湊,攝影模組背面真的沒有太多的實體餘裕空間,也是無法換用RPi AI Camera的。
結語
歸結而言,樹莓派官方推出Raspberry Pi AI Kit、AI Camera,背後倚仗的是以色列Hailo公司Hailo-8L晶片及其配套軟體,以及日本Sony公司IMX500感測器及其配套軟體與平台,顯示樹莓派官方加速擁抱Edge AI、TinyML。
然而這也顯示,雖然樹莓派走向專屬處理器、控制器路線(背後是Broadcom的技術支援),但現有專屬處理器、控制器難以延伸到Edge AI、TinyML領域,快速接軌援引合用的軟硬體才是上策,以免錯失市場機會。
(本文由VMAKER授權轉載;連結原文網址)