「大數據」一詞近年相當熱門,許多企業力求轉型的第一步便是導入大數據的概念,而Cloudera利用最新開放原始碼技術,提供現代化的數據管理、機器學習和先進分析平台。Cloudera系統能夠透過有效率地擷取、儲存、處理,以及分析大量的數據來幫助企業解決困難的企業挑戰。
在台灣,中大型企業的特色是擁有多元化的服務或產品事業群,伴隨著的是相當大量卻僅限於原事業群使用的數據資料,而其中絕大部分都是行為數據,例如消費者的行為偏好軌跡、App使用軌跡、電子通路使用軌跡等,這些數據能讓企業進一步了解客戶的真實樣貌與產品的現況。Hadoop的架構正適合存放這種產生速度較快且較為大量的軌跡數據,企業亦能藉此打破各事業體間的數據藩籬,建立整個事業體的數據資料庫,同時建置出有利於企業後續分析與預測的數據系統。
富邦集團旗下擁有金融、電信、電子商務等不同產業,近年來極為重視「FinTech金融科技」的運用,富邦金控於2015年底成立「創新科技辦公室」以推動金融科技創新,目前富邦金控在發展金融科技的成果逐漸顯現,更成為台灣提出區塊鏈測試產品的金融機構先驅,而以下幾個重要的考量點,正是讓富邦金控決定率先導入此技術的關鍵。
整合事業群數據,快速查詢分析
圖1 : Cloudera Hadoop架構扮演資訊歸納統整的角色,提供企業安全且快速的資訊查詢檢索功能。(source: Hayes Culleton) |
|
許多企業擁有巨量的消費者資料卻缺乏整合分析,各事業群或部門的資訊也無法互通或有效利用,而Cloudera Hadoop架構在這之中正是扮演資訊歸納統整的角色,提供企業安全且快速的資訊查詢檢索功能。過去往往因為傳統數據庫的運作限制,只要面臨巨量資料的索引與分析就會讓企業相當頭痛,許多企業即便花了大量的時間去優化程式,還是會遇到許多瓶頸和限制,但在導入Cloudera Hadoop架構後,縱使是處理巨量資料,也能快速的透過Hadoop分散式檔案系統(HDFS)與Apache Hive歸納、查詢與分析資料。
「即時回應」並「一次到位」的解決客戶的問題,長久以來一直是各產業努力的目標,但礙於系統的限制,大多僅能做到批次查詢後再運用不完整的資訊去分析,而且縱使後端做了許多不同類型的分析,但要回饋到前端往往也需耗費些許時間,很難在第一時間回覆客戶的深層需求。
導入Cloudera的系統之後,由於來自於各事業群的資料會先被整理歸納,企業可以在短時間內從成千上萬筆資料中找到有用的數據,針對客戶的過往紀錄、狀況、問題,建構出客戶的消費樣貌,適時的針對客戶需求推薦合適的產品或解決方案,除了可以快速有效的解決客戶問題,更能夠表現出企業的對客戶的深度了解,同時也能減少企業的時間和金錢上的成本消耗,將每一分心力及資源都做最有效的運用。
深度的專業建議,全面的管理工具
由於Hadoop架構的內容相當廣泛,要能夠快速找到最適合的解決方案相當不容易,藉由Cloudera在Hadoop與大數據上的深度了解與實務經驗,在本次與富邦金控資料庫建置與設計,即提供專業的建議與解決方案。
與富邦金控的合作當中,Cloudera運用自身在Hadoop與大數據上的豐富經驗,與客戶就資料庫建置與設計上進行多次溝通交流,並結合客戶所提供的實務狀況,提供專業的建議與解決方案。除此之外,Cloudera也提供數種不同的管理工具,例如Cloudera Manager能夠大幅提升企業在整合各個伺服器及元件設定便利性,對於企業內部的系統工程師而言,Cloudera Manager可帶來相當大的助益。
安全的數據管理,進階的數據應用
圖2 : 「FinTech金融科技」的核心是大數據與機器學習,而Hadoop是這些技術的基礎。(source: businessworld.in) |
|
數據資料的安全一直以來都是資料庫系統的重點,對於攸關個人、公司資產的金融產業來說更至關重要,Cloudera平台通過業經世界五大信用卡集團認可的PCI-DSS(Payment Card Industry Data Security Standard)認證,此認證針對資訊的安全管理、政策、程序、網路設定與軟體設計等多方面進行考核,目的是竭盡所能的保護持卡人的資料安全。以金融業大數據平台而言,Cloudera在資料安全方面投入了大量精力,並且在與金融企業合作的過程當中,不斷強化安全等級與效能。
實際上,「FinTech金融科技」的核心就是大數據與機器學習,而Hadoop正是這些技術的基礎,然相同的概念可以被應用在各個不同的方面,例如富邦金控除了運用資料庫來瞭解消費者的樣貌外,亦將資訊安全相關登錄檔(Log)導入資料庫當中,如此,將來透過資料庫的數據,就能夠分析及預測各種不正當行為,同時提高公司內部及對外的資訊安全層級。
導入管理系統分析客戶行為路徑
富邦金控為了妥善發展大數據相關應用而導入Cloudera的管理CEH(Customer Event Hub)系統以分析客戶行為路徑,將其旗下銀行、人壽、證券、產險等業務單位的資料進行整合,建立每位客戶的年齡歷程模型,針對客戶過往的活動紀錄與偏好,推薦適合客戶的金融產品。如此一來,各業務單位的員工便能更有效的即時了解客戶的狀況、可能面臨的問題以及需求,也可以避免不必要的人力及時間耗費,替企業帶來更出色的表現。
此外,透過系統,富邦金控將來能夠針對企業策略與目標,進行金控層面的數據收集與分析,無論是想要找出公司內部的問題,或是希望能了解特定事件的樣貌或情況,只要審慎評估需要收集的資料以及目標方向,就能夠從跨子公司巨量的數據中尋找答案。
結論
當企業希望發展大數據、機器學習相關領域時,除了積極尋找相關人才的加入,透過Cloudera在全球各地累積的技術支援與實務經驗,進而提供企業一個有效存取、處理,以及分析的安全平台,專業人員也可以協助企業培訓自家的大數據分析人才,經過此次Cloudera和富邦金控的合作可以看到,建置金控內的大數據資料庫與應用,讓企業的資料不再是單純的數據,而是可以了解客戶行為、偏好,甚至預測客戶需求的利器,有效提升企業表現並同時降低企業的成本消耗。