全球機器學習和先進分析平台供應商Cloudera發表全新Cloudera Altus雲端平台,其平台即服務(PaaS)的特性讓使用者能夠輕易地在公有雲上運算大規模的數據處理程序。初版Altus服務旨在幫助數據工程師利用隨選基礎架構來加速建構和操作具彈性的數據管道(data pipeline),進一步處理複雜且以數據為導向的應用。
|
Altus雲端平台為數據工程師提供工作優先的管理服務並降低轉移雲端平台的風險 |
以最新開放原始碼技術為基礎
常見的數據工程像是數據ETL(提取/轉換/讀取),或是批次跑分等通常都是大量且以批次為主的作業,這些作業需要一段時間來進行運算,並幫助企業從原始數據中萃取出關鍵資訊。藉由在具彈性的基礎架構上運行這些數據管道,企業可以獲得顯著的運作彈性與效率。此外,企業通常也會傾向在雲端基礎架構中應用熟悉的大規模數據處理工具和技術。
Cloudera Altus數據工程服務簡化了彈性數據管道的開發和運作,並將數據工程作業視為核心,進一步精簡一般費時又複雜的基礎架構管理與運作。Altus同時也降低了雲端轉移的風險,並在此開放、整合,以及企業級的服務平台上提供使用者熟悉的工具套件,透過多重數據工程應用,提供一般儲存、元數據、資安,以及管理等服務。
簡化建立和運作彈性數據管道過程
Cloudera產品資深副總裁Charles Zedlewski表示:「現今數據導向的應用是以數據工程作業為基礎,Altus簡化了建立和運作彈性數據管道的過程,同時也保留了可攜性,並可更輕易地為複雜的商業智慧(BI)、數據科學,和即時應用導入數據工程元素。」
Cloudera讓使用者在Amazon雲端服務(AWS)等雲端服務上布建作業變得簡單、有效率,且便利,並利用雲端服務的彈性、低成本儲存、運算選項,和快速配置等特性來提供現代化數據服務,這些服務甚至可以解決現今最具有挑戰性的商業問題。像Amazon簡易儲存服務(Amazon S3)這樣的雲端物件商店逐漸受到市場歡迎,就是因為具有高彈性、可擴展性,和成本相對低廉等特性。
根據IDC研究,公有雲布建目前在整體全球商業分析軟體市場的占比為12%,並預期2020年的複合年均增長率(CAGR)會提升至25%。對Cloudera的客戶而言,雲端是成長最快速的布建環境之一,而Altus讓使用者在雲端運作數據工程作業變得比以往更加簡單。
Cloudera推出的初版Altus可支援Apache Spark、Apache Hive on MapReduce2,和Hive on Spark,且已在大部分有Amazon雲端服務(AWS)的地區上市。Cloudera期望將來能夠讓Altus支援其他主流公有雲服務,例如Microsoft Azure。
Cloudera Altus特色
彈性數據管道管理服務
Cloudera Altus是一個平台即服務的產品,它能夠讓數據工程師輕鬆且快速地在原生雲端基礎架構上操作Apache Spark、Apache Hive、Hive on Spark,和MapReduce2等服務。Altus具備智慧預設叢集設定和系統環境,可大幅減低叢集布建的次數與運作,並可自動化過程,例如創建、組態,及終止。
作業導向
Cloudera Altus是以數據管道為核心,而非叢集或基礎架構,所以使用者可以輕易地針對數據管道進行提交、複製,和除錯,而不用擔心底層的基礎架構。
無數據孤島(Data siloes)
Cloudera Altus數據工程服務和Cloudera其他平台服務一樣,可讓數據工程師直接從雲端物件儲存空間進行讀寫,而且這些資料可以讓其他Cloudera的服務立即使用,無須進行數據複製、ETL,或格式轉換。使用者可以藉此輕易地為數據科學、商業智慧(BI),和即時資料庫等應用導入數據工程。
向下相容與平台可攜性
Altus支援多種版本的CDH(Cloudera Distribution of Apache Hadoop),CDH是業界最廣泛使用的開放原始碼平台。使用者無需修改應用程式即可將工作作業從雲端移進或移出,且CDH可以向下相容各次版本,使用者得以享受Apache大數據開放原始碼社群的最新技術,而不必擔心因版本升級導致程式失效。
內建作業管理系統
Altus的作業管理系統可自動化且簡化常見的彈性數據管道操作問題,讓使用者無論在叢集或基礎架構是否運作的狀態下,均可對作業進行除錯。此外,Altus的作業管理系統還可標示出重大效能問題,進一步分析其原因,如此一來使用者便能在更加穩定且更低成本的情況下運行數據管道。