分散式的概念由來已久,尤其從有網路以來,資料的運算和儲存架構就不斷的朝向「去中心化」發展。到了物聯網時代,這個模式更成了理所當然和不可或缺的系統建置架構。
最初,分散式運算(Distributed computing)的提出,就是一種基於多計算機以網路連接的運算系統。基本上就是使用一組電腦,透過網路互相連結並通訊,之後運用軟體的控制機制,讓它們形成一個大型的運算系統,已完成更大的運算目標。
也因此,這種形式的系統運作思維,就是要把一個需要大量計算的工程資料,分割成諸多小塊,再分給多台電腦個別去計算,接著再上傳運算結果,最後統一合併成資料結果。
所以可想而知,傳統的分散式運算是站在降低整體成本的思維來進行,就目的而言,仍是集中式的思考,只是在運算手段上採用了分散的形式,著名的蛋白質藥物運算專案Folding@home,就是在這種架構下執行的一項任務。
跳脫傳統框架 物聯網實現真正分散式運算
然而目前的物聯網則完全跳脫了傳統的框架,它們本身就不存在一個被指定的巨大任務,因此在設計上就顯得更加自由,架構上當然也更加彈性,因此物聯網可以說是真正的實現了分散式運算的理念。
首先,在本質上,物聯網就是一種去中心的架構,它透過有線和無線的網路系統,將各式的裝置連結起來。儘管在這個架構中,所有的裝置連結成一個大網路,但網路中的每個節點裝置都是獨立運行,有各自的功能與目標。
連結成網的目的,則是要打破物與物溝通的藩籬,讓彼此的運行可以更緊密,同時應用的深度也更加貼近實際的需求。
再者,從技術上看,物聯網裝置本身也需要一定的運算力,才能運行前端種種的功能,而且物聯網裝置經常會產生許多的數據,這些資料的處理、傳輸、儲存也會提供對端點裝置運算力的需要。也因此,分散式運算的功能在物聯網應用中更顯重要。
而物聯網的分散式運算技術應用中,邊緣運算則是當前最受關注的一環,它可以說是實現智慧物聯(AIoT)應用的關鍵技術,甚至也是把人工智慧帶進人們日常生活的重要技術,因此,包含AWS、英特爾、NVIDIA與Microsoft等大型的科技公司,紛紛鎖定邊緣運算的技術與應用,最為其在物聯網時代的主要服務項目,積極投入邊緣晶片與邊緣平台的開發。
根據市場研究公司technavio的研究,全球2019至2023年全球邊緣運算市場的年複合成長率(CAGR)將近41%,市場規模將達到57億美元。而其主要的驅力則來自於對於「去中心化」的運算力需求,藉此減低因數據傳輸路徑過長所造成的決策延遲。
另一方面,萬物聯網的時代,必然出現數據資料量爆炸性成長的情況,這不僅考驗網路基礎建設與傳輸技術,同時數據的儲存與隱私問題也會變成發展的挑戰。也因此「分散式儲存」和「分散式帳本」的技術與應用,也將隨之而來。
圖一 : 5G與邊緣運算將是共生互用的緊密關聯。(CTIMES製圖;source:lanner-america) |
|
而隨著全球5G陸續啟用之後,尤其是5G的低延遲與大連結的技術,更是有助於提升分散式運算的性能,對於上述種種的分散式運算技術與應用,將會刺激其進一步的加速發展,並成為未來幾年內重要的市場成長驅力。
分散式運算的最佳體現
提起分散式運算,智慧手機算是最典型的一個代表產物了。越來越強大的運算功能,可以由使用者隨身攜帶,真正做到隨時隨地、不同空間的異地運算。特別是隨著5G問世,更大的通訊頻寬,使得更為強大的分散式運算成為可能,並開啟更多全新的應用體驗。我們可以說,去中心化的邊緣運算,就是實現分散式運算的最佳體現方式。
Marvell 首席架構師 George Hervey指出,當我們邁向「始終在線,始終連接」(Always On,Always Connected)模式的更進階階段時,智慧手機已經成為生活中不可或缺的一部分。我們的手機提供即時的資料和溝通媒體存取,這樣的存取方式影響我們的決定,最終左右我們的行為。這便是分散式運算的全新意涵。
思科預計,到了 2022 年,全球行動網路將會支援超過 120 億部行動裝置及物聯網連線。而這些行動裝置將會支援更多元的功能。如今,我們的手機已然取代許多小工具並提供諸多服務。如果您的手機可以提供 Apple Pay、Google Pay 或執行電子支付,那麼便無需隨身攜帶皮夾。如果手機可以開車門並且啟動汽車,或是可以打開車庫的門,那麼就無需隨身攜帶車鑰匙。目前,應用程式已經涵蓋即時串流服務,可提供 VR/AR(虛擬實境/擴增實境)體驗和即時分享等服務。未來的服務和應用程式似乎可以滿足無限的想像,不過它們的發展需要新世代資料基礎架構的支援與協助。
對於邊緣智能的需求
網路連線能力和流量成長都在持續提升,原因是新型數據密集應用程式的採用率的提升,造成對頻寬以及更高智慧基礎架構的需求。這樣的基礎架構可以透過智能辨識特定的應用程式和基礎架構需求,並且在必要時提供邊緣的處理作業。隨著Multi-Gigabit 乙太網路和 400GE 骨幹連線的進步,網速也獲得提升,但最新的 5G 和 Wi-Fi 科技可用頻寬卻持續造成回程傳輸中的瓶頸。
George Hervey說,邊緣處理有助於避免大量資料跨網路移動。這種更高階的網路智能可以讓網路在無須使用者介入的情?下提供複雜的軟體定義基礎架構管理、管理推論引擎、應用相關策略。最重要的是可提供主動式的應用程式功能。 透過使用具有低延遲性、高可靠度和安全性的基礎架構提供幾乎即時的互動式平台,使用者體驗將會獲得提升。
伴隨對頻寬的需求迅速激增,該怎麼有效在大範圍內解決這個問題呢?在平行處理雲端資料中心時發現,要擴展並處理新增的頻寬和大量節點,可以在網路邊緣新增處理作業。這個方法可以在資料中心完成,方法是透過使用智慧網卡(smartNIC)從伺服器卸載複雜的處理工作,包含封包處理、安全性、以及虛擬化。 另一個相似的方法可在電信業者網路中達成,方法是透過部署位於邊緣的SD-WAN/uCPE/vCPE提供智能服務並減少連線成本。然而,這個方法在企業網路中會出現問題,因為企業網路需要多樣功能的端點,而第一個一致功能需求位置出現在網路的存取層。
結語:利用AI
圖二 : 5G問世使得更為強大的分散式運算成為可能,並開啟更多應用體驗。(source: pxhere.com) |
|
如果使用傳統方式在企業網路中部署服務(例如集中式防火牆和驗證伺服器),還會遇到其他挑戰。按照預期,會有更多的裝置需要存取網路,而且每部裝置會需要更多頻寬。這種情況下,這些傳統方式的限制會造成瓶頸。如果要解決這些問題,必須真正實現網路邊緣處理,讓處理作業貼近需求端,並且更加智能。 網路 OEM、IT 基礎架構擁有者和服務提供者,都必須在企業網路的存取層善用新世代的AI和網路功能卸載。
**刊頭圖(source: marvell.com)