帳號:
密碼:
最新動態
 
產業快訊
CTIMES/SmartAuto / 新聞 /
Nvidia:GPU激發轉型 突破過去無法達成的分析工作
 

【CTIMES/SmartAuto 王岫晨 報導】   2021年08月09日 星期一

瀏覽人次:【2152】

資料科學家Deborah Tylor,堅持不懈的運用正確的工具,達成原本以為做不到的事情。

最新版的 Cloudera Data Platform 加上由 NVIDIA 加快運行速度的 Spark 3.0,協助一支團隊提升作業表現達八倍。
最新版的 Cloudera Data Platform 加上由 NVIDIA 加快運行速度的 Spark 3.0,協助一支團隊提升作業表現達八倍。

Deborah Tylor負責整理美國國稅局 (IRS) 超過 300 TB 的龐大資料庫,從中找出可能有助於發現身份盜用和其它詐欺行為的模式。但就算她在一大排 CPU 伺服器上徹夜運行整理工作,依舊摸不著頭緒。她隔天早上發現沒有成功,於是又試了一次,結果再次失敗。

Cloudera 的 Nasheb Ismaily 差不多就在同一時間,敲了敲 Tylor 的主管 Rahul Tikekar 辦公室的門,Tikekar 也是國稅局資料分析師技術支援團隊的主管。這名 Cloudera 的解決方案工程師詢問 Tikekar 的團隊有沒有用過 Cloudera Data Platform (CDP),以發揮 以 GPU 加速的 Apache Spark 3.0 軟體的優勢。

Tikekar 表示,我欣然接受這個提議。我們的獨立伺服器上裝有 NVIDIA 顯示卡,在分散式叢集上使用 Spark 來運行這些顯示卡也有一段時間了,這對我們來說時機剛剛好。

他們很快就進行軟體測試,在沒有更動程式碼的情況下,Tylor 很多的工作執行速度提升高達五倍,不過還是出現了一些延遲。

Ismaily 找來 NVIDIA 的資料科學家協助檢查程式碼,很快就確認 CPU 上還運行著一些資料結構特別差的任務。他們寫了程式碼來處理這些工作,並且把它插入 Spark 的 RAPIDS (在 GPU 上進行資料分析的開源函式庫) 軟體介面裡。Tylor 又試了一次。

Tikekar 說,資料突然全都進入分散式 Spark 叢集的 GPU 上,加速成果非常顯著,Deborah 現在在有四個節點的叢集上運行整個程式。

美國國稅局研究與應用分析及統計部門的技術主管 Joe Ansaldi 表示,Cloudera 與 NVIDIA 的整合讓我們能夠從資料中找出寶貴的洞察,以支援關鍵的任務。我們正運用這個組合,且已經看到資料工程和資料科學工作流程的執行速度提高了十倍以上,而且成本還少了一半。

IRS 團隊已經著手探索這項工作帶來的一些回報。他們使用搭載 GPU 的伺服器組成的 Spark 叢集,可以加快處理手邊的各項工作,還能執行過去以為做不到的事情,而這些工作可以協助處理該團隊所擁有的大型資料集。Tikekar 表示,在 Spark 3.0 出現前,我們做不到這些,但現在有 GPU 可以讓我們放手一搏,解決曾經不可能解決的問題。

規畫發展人工智慧(AI)的路線

這支團隊計畫應用他們在資料準備的成功經驗,即資料分析的擷取、轉換和載入 (ETL) 作業。下一個重大計畫便是加快全面發展 AI 推論工作。

Tikekar 表示,跟 Cloudera 和 NVIDIA 合作,幫助我們發揮叢集中 GPU 的優勢。市場上出現這麼進步的技術,我們要花點時間才能認清它們的實力,還有開發出能夠運用它們的應用,Deborah 為我們規劃了一條新的路線,她是我們故事的英雄。

說得更具體一點,這支團隊想要建立大型深度學習神經網路,以解決自然語言處理和分析的問題。

這是當下許多企業想要透過機器學習進行的轉型。

擁有電腦科學博士學位的 Tikekar 表示,機器學習帶來了無窮的可能,讓我們能夠做到從前無法完成的事情。Tikekar 在 13 年前加入國稅局之前,曾在南奧勒岡大學 (Southern Oregon University) 任教十年。

他進一步表示,例如我們可以掃描表格,然後用光學字元辨識技術來讀取裡面的隻字片語,但有了 AI,我們還可以更深入從表格中找出有助於發現身分盜用,或是減少浪費的模式,AI 在很多方面都能嘉惠不少應用。

關鍵字: GPU  邊緣運算  NVIDIA 
相關新聞
NVIDIA發表新AI工具 助力機器人學習和人形機器人開發
NVIDIA AI Blueprint協助開發視覺AI代理 以提高效率、最佳化流程並創造空間
AMD攜手合作夥伴擴展AI解決方案 全方位強化AI策略布局
印度機器人生態系利用NVIDIA創新 從倉儲自動化到最後一哩路配送
NVIDIA乙太網路技術加速被應用於建造全球最大AI超級電腦
comments powered by Disqus
相關討論
  相關文章
» SiC MOSFET:意法半導體克服產業挑戰的顛覆性技術
» 機器視覺與電腦視覺技術的不同應用
» STM32MP25系列MPU加速邊緣AI應用發展 開啟嵌入式智慧新時代
» STM32 MCU產品線再添新成員 STM32H7R/S與STM32U0各擅勝場
» STM32WBA系列推動物聯網發展 多協定無線連接成效率關鍵


刊登廣告 新聞信箱 讀者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 遠播資訊股份有限公司版權所有 Powered by O3  v3.20.1.HK8BD44Y1PMSTACUKY
地址:台北數位產業園區(digiBlock Taipei) 103台北市大同區承德路三段287-2號A棟204室
電話 (02)2585-5526 #0 轉接至總機 /  E-Mail: webmaster@ctimes.com.tw