帳號:
密碼:
最新動態
產業快訊
CTIMES / 文章 /
Sony強力加持!樹莓派發表專屬AI攝影機
 

【作者: 陸向陽】   2024年10月31日 星期四

瀏覽人次:【1135】


圖一 : Raspberry Pi AI Camera(圖片來源:樹莓派官網)
圖一 : Raspberry Pi AI Camera(圖片來源:樹莓派官網)

樹莓派本來就有官方的攝影機(或稱影像感測器image sensor)模組,已經推到第三代,但就在九月底樹莓派官方再推出人工智慧攝影機Raspberry Pi AI Camera(事實上此前的三月份嵌入式世界Embedded World大會期間已略有展示),建議價70美元,RPi AI Camera與原有的攝影機有何不同?本文將對此推探。


減輕主晶片的運算負荷

RPi AI Camera第一重點是使用Sony的IMX500智慧視覺感測器(Intelligence Vision Sensor),感測器內除了有1,230萬畫素的影像感測器外還有專屬的硬體加速電路(DSP)跟專屬的8MB記憶體(SRAM)(註1),如此在進行AI相關電腦視覺(CV)運算上可大幅降低對主處理器、主控制器的倚賴。


註1:其實模組上還有一顆樹莓派專屬的控制器晶片RP2040,即Raspberry Pi Pico的主晶片,但該晶片在模組中是負責神經網路管理與模組韌體管理等工作。


圖二 : Raspberry Pi AI Camera模組上的RP2040控制器晶片(圖片來源:樹莓派官網)
圖二 : Raspberry Pi AI Camera模組上的RP2040控制器晶片(圖片來源:樹莓派官網)

如果是第五代樹莓派(RPi 5),其實可以透過在六月份發表的人工智慧套件RPi AI Kit來獲得硬體加速,但如果是更早先的樹莓派單板電腦,因為不具備PCIe介面,無法加裝RPi AI Kit(註2),那就真的只能使用RPi AI Camera了。


註2:如果PCIe介面已經拿去連接其他裝置,通常是固態硬碟SSD,那也是只能使用RPi AI Camera,除非再用上一些變通的分接技巧則另當別論。

事實上多數的Edge AI、TinyML應用都與電腦視覺有關,若是傳統自然語言處理(NLP)應用,其所需的運算力通常不用太多,甚至可能不需要硬體加速器,至於資料科學(DS)應用則較少用於Edge AI、TinyML。


若是近一、二年開始走紅的大型語言模型(LLM)、生成式人工智慧(GenAI)等,業界一般認定需要40TOPS以上的運算力才能務實地即時反應,如此即便用上RPi AI Kit也是效能不足,AI Kit約13TOPS。而RPi AI Camera更是針對CV應用為主,其硬體加速特性不易在LLM、GenAI發揮。


Sony讓創客輕鬆轉向產業實務應用

Sony不僅提供IMX500硬體還提供配套的開發軟體與服務平台,開發軟體為Brain Builder for AITRIOS(Local Studio),服務平台為AITRIOS


開發軟體安裝在開發者端的電腦裡,可以讓開發者快速有效地進行圖片資料標記、有效地訓練AI模型,Sony官方強調不用寫程式(No Code),只要四步驟就能讓模型從新增到佈署,步驟分別是1) 選擇資料集 2) 開始訓練 3) 檢視訓練成效 4) 模型輸出。另外,開發軟體可以把過往用TensorFlow或PyTorch等框架訓練成的模組轉換過來使用。


至於AITRIOS平台可以讓管理者大規模地管理裝置與模型、可以在平台上建立各項專案、設定專案成員角色與權限、在線上市集(Marketplace)購買現成可用的應用程式等。


尺寸厚度略要注意

與過往樹莓派攝影機模組相同的,RPi AI Camera也是用CSI介面與樹莓派連接,而且模組的長寬尺寸也跟過往的攝影機模組相同,這表示本來的專案理論上可以直接拆起原有的攝影機,改換裝新的RPi AI Camera。



圖三 : Raspberry Pi AI Camera用軟板接上樹莓派的CSI連接器介面(圖片來源:樹莓派官網)
圖三 : Raspberry Pi AI Camera用軟板接上樹莓派的CSI連接器介面(圖片來源:樹莓派官網)

不過,因為RPi AI Camera有AI加速設計,即前述的硬體加速電路、記憶體等,所以厚度是比過往的模組厚一些。所以,如果過往的專案若內部空間很緊湊,攝影模組背面真的沒有太多的實體餘裕空間,也是無法換用RPi AI Camera的。


結語

歸結而言,樹莓派官方推出Raspberry Pi AI Kit、AI Camera,背後倚仗的是以色列Hailo公司Hailo-8L晶片及其配套軟體,以及日本Sony公司IMX500感測器及其配套軟體與平台,顯示樹莓派官方加速擁抱Edge AI、TinyML。


然而這也顯示,雖然樹莓派走向專屬處理器、控制器路線(背後是Broadcom的技術支援),但現有專屬處理器、控制器難以延伸到Edge AI、TinyML領域,快速接軌援引合用的軟硬體才是上策,以免錯失市場機會。


(本文由VMAKER授權轉載;連結原文網址


相關文章
創新更容易!2024年受矚目的Arduino創新產品簡介
Raspberry Pi Pico 2主控晶片資安懸賞加時加碼
Arduino Cloud:運用圖像小工具 使 IoT專案更吸睛
Arduino 攝影串流:DIY 簡易操作步驟
2GB、50美元!第五代樹莓派降規降價
comments powered by Disqus
相關討論
  相關新聞
» 2024國家藥科獎揭曉 醫材軟體研發見碩果
» Molex莫仕使用SAP解決方案推動智慧供應鏈合作
» 拜耳與微軟合作推出針對農業的生成式AI模型,進軍智慧農業市場
» 企業永續資訊揭露為接軌國際市場的準則
» UL Solutions針對AI技術裝置提供標準化評級


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.2048.3.145.39.176
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw