在資料統整與雲端數據搜集時，邊緣運算可以發揮很大的功用。與雲端運算不同的是，邊緣運算是位於最接近資料來源的小型計算中心，主要功能在於收集、儲存、過濾、擷取、簡單的運算，並將處理過的資料與雲端系統進行有效率的交換，使系統變得更加即時、彈性且具有效率。

目前各大晶片廠商都在開發各自的AI邊緣運算晶片，將AI運算從雲端逐漸向終端轉移，這也使得邊緣運算的需求將會大增。

隨著AI的發展越趨成熟，硬體晶片的品質提升不少，讓過去只能作為「接收」功能的端口也能用於協助運算，這將使AI運作更有效率，像是自動煞車系統、智慧音箱等，都是邊緣運算下的產物。繼雲端（Cloud）與物聯網（IoT）興起後，物聯網與雲端間的中繼站，如物聯網閘道器（IoT Gateway），也從過往的單純資料彙整、轉傳工作外，被賦予更多的任務與期許，這些應用都促使了邊緣運算（Edge Computing）概念的興起。

2017年是AI元年，各公司都大力佈局AI技術。2019年AI的應用需求更是明確，需多原先由雲端運算的產品都紛紛轉向終端運算處理。連網設備現在為了解決網路頻寬有限、通訊延遲、缺乏網路覆蓋、資料隱私與機密等需求，對終端AI運算能力的需求多過於雲端運算。除了演算法和大資料，作為AI的三大要素之一，運算能力也變得非常重要。目前各大晶片廠商都在開發各自的AI邊緣運算晶片，將AI運算從雲端逐漸向終端轉移，這也使得邊緣運算的需求將會大增。

工研院綜合預測邊緣端與裝置端AI晶片市場規模，2017年為793百萬美元，2025年為51,623百萬美元，年複合成長率高達68.5%。估計2025年，前三大的Edge AI產品分別為：智慧手機、智慧音箱、抬頭顯示設備（AR/VR/MR…）。而成長最快速的產品，則是消費型與企業用機器人及安全監控攝影機。

在特定領域的專用人工智慧系統，由於應用背景需求明確、深厚之領域知識、模型建立計算簡單可行，在單項測試之智慧水準已可超越人類智慧，目前在許多領域已取得具體成效。技術挑戰則在於：發展低能耗、高準確率的認知計算，包括新型運算架構電路設計、演算法等。未來人工智慧晶片是特定的演算法加速器，來加速包括卷積神經網路（Convolution Neural Network）、遞迴神經網路（Recursive Neural Network）在內的各種神經網路演算法，專用晶片的最大優勢在於其成本和功耗降低，可大幅提升人工智慧演算法運行效率。