账号:
密码:
最新动态
 
产业快讯
CTIMES/SmartAuto / 新闻 /
AWS推出五项资料库和分析服务功能 提升PB级资料处理能力
 

【CTIMES / SMARTAUTO ABC_1 报导】    2022年12月12日 星期一

浏览人次:【2039】

Amazon Web Services(AWS)在2022 AWS re:Invent全球盛会上宣布推出五项涵盖资料库和分析产品组合的全新功能,让客户能够更快速轻松地管理和分析PB级资料。与MongoDB相容的Amazon DocumentDB、Amazon OpenSearch Service和Amazon Athena的新功能,让客户能更轻松地大规模执行高效能资料库和分析工作负载。此外,AWS也发布AWS Glue的新功能,可自动管理横跨资料湖和资料管道的资料品质。此外,Amazon Redshift现在可支援横跨多个AWS可用区域(Availability Zones,AZ)的高可用配置。客户可透过此次推出的新产品,取得适合其资料工作负载的工具,达到大规模营运并提高可用性,从而协助客户充分利用在AWS上的资料。

AWS资料库、资料分析和机器学习??总裁Swami Sivasubramanian表示:「资料本来就是动态的,需要端对端的资料策略来充分发挥潜力。资料策略需因应客户的需求进行调整、适应所有类型的使用案例,不管是现在还是未来。为了协助客户充分利用不断成长、海量且多样化的资料,我们一直致力於提供最广泛且深入的资料库和分析服务。今天在这个基础上推出的新功能,可以让客户更方便地查询和管理资料并扩大资料规模,从而更快地做出资料驱动的决策。」

现今,企业产生和储存的资料已达PB级甚至EB级,资料来源也日益多样化,包含数位媒体、线上交易和各种网路连接设备。为了发挥这些资料的最大价值,客户需要端对端的资料策略,为所有资料工作负载和应用提供合适的工具,当资料量增大、增加速度提升时,仍可大规模且可靠地执行。

为了支援客户设计端对端的资料策略,AWS提供业界最全方位的资料服务和解决方案,其中包含针对客户最重要的应用场景而优化的全托管资料库,例如用於关联式资料库的Amazon Aurora和用於文件资料库的Amazon DocumentDB;也有帮助客户从资料中获得具有价值的洞察的多项分析服务,包含针对搜寻和分析工作负载(例如即时应用监测、日志分析和网站搜寻)的Amazon OpenSearch Service、适用於互动式分析的Amazon Athena、用於资料整合的AWS Glue和用於资料仓储的Amazon Redshift。此次的发布将在这些服务的基础上提供进阶功能。

●Amazon DocumentDB Elastic Clusters以每秒数百万次写入的效能为PB级应用提供支援:数以万计的客户使用Amazon DocumentDB执行文件工作负载,因其速度快、可扩展、高可用性且完全托管。虽然每个Amazon DocumentDB节点最多可扩展到64TB资料并支援每秒数百万次读取请求,但有些客户的工作负载要求极高,需要超越此限制的扩展能力,以支援每秒数百万次写入并储存PB级资料。以往这些客户必须在多个Amazon DocumentDB节点间手动拆分资料及管理容量。Amazon DocumentDB Elastic Clusters让客户在几分钟内扩展,并打破单节点资料库的限制,以支援每秒数百万次的读取与写入,并储存高达2PB级的资料。随着工作负载需求不断增加,Amazon DocumentDB Elastic Clusters可以利用分散式储存系统自动将大型资料集分开储存到多个节点。客户不再需要编写自订代码、分拆资料集和跨节点手动管理容量。底层基础设施将进行自动管理,客户可以根据自身需求轻松扩展容量,无需配置、扩展或管理资料库丛集。

●Amazon OpenSearch Serverless自动扩展搜寻和分析工作负载:数以万计的客户使用Amazon OpenSearch Service支援网站搜寻和即时应用监控等使用案例,其中许多工作负载容易出现间歇性使用高峰,而难以规划容量。Amazon OpenSearch Serverless可以自动预先设定、配置和扩展OpenSearch基础设施,即使针对不可预测和间歇性的工作负载,也可以提供快速导入资料和毫秒级查询回应。借助Amazon OpenSearch Serverless,资料导入和搜寻资源可以独立扩展,两种操作同时执行且不会影响效能。使用Amazon OpenSearch Serverless的客户可获得无伺服器带来的优势如自动配置、按需求扩展和按使用量付费等,也可获得Amazon OpenSearch Service的功能如内建的资料视觉化,用以解析日志资料、辨识异常、查看搜寻相关性排名。

●Amazon Athena for Apache Spark将互动式分析的启动时间缩短至1秒内:客户使用无伺服器互动式查询服务Amazon Athena,因为Amazon Athena使用标准SQL介面在Amazon Simple Storage Service(Amazon S3)查询资料,这是查询PB级资料最方便、最快的方式之一。很多客户也希??能更轻松地在Apache Spark上作业,Apache Spark是一种开源处理框架,支援Java、Scala、Python和R等主流语言框架的大数据工作负载,开发人员虽然很喜欢Apache Spark的快速查询速度和易用性,但他们不想在每次查询时都花时间建立、管理和扩展Apache Spark基础设施。现在,使用Amazon Athena for Apache Spark,客户已无需自己预先设定、配置和扩展资源。互动式Apache Spark应用的启动时间不到1秒,执行速度比使用开源的AWS优化版Spark执行时更快。整合Amazon Athena与其他AWS服务後,客户可以从多个来源查询资料,将运算串连、进行复杂的分析且将结果视觉化。Amazon Athena for Apache Spark会根据应用需求自动决定所需的资源,并且按需求扩展,因此客户只需为他们执行的查询付费。

●AWS Glue Data Quality自动监控和管理资料的即时性、准确性和完整性:成千上万客户使用AWS Glue快速、轻松且符合经济效益地建立和管理资料管道。企业需要监控资料湖和资料管道中的资料品质以衡量资料的即时性、准确性和完整性,确保资料品质,再将其用於分析或机器学习等应用。但资料品质管理是一项耗时且复杂的过程,需要资料工程师花费数天时间搜集资料的详细统计数字,并根据统计数字手动辨识资料品质规则,并将其应用於数千个资料集和资料管道。实施这些规则之後,资料工程师必须持续监控资料中的错误或变化,并作出相应调整。AWS Glue Data Quality可以自动测量、监控和管理Amazon S3资料湖和AWS Glue资料管道的资料品质,将资料分析和规则辨识的时间从几天缩短到几小时。AWS Glue Data Quality可以运算客户资料集的统计数字,例如最小值、最大值、长条图和相关性等,使用统计数字自动推荐规则,确保资料的即时性、准确性和完整性。客户可以安排AWS Glue Data Quality在资料发生变化时定期执行,自动分析资料并提出品质规则的更改建议以确保相关性。一旦资料品质出现问题,资料工程师无需编写代码,即可设定使用者提醒或停用资料管道。

●Amazon Redshift现已支援多可用区域(Multi-AZ)部署:数以万计的AWS客户每天使用Amazon Redshift处理总计达EB级的资料。为了支援这些客户的关键任务工作负载,Amazon Redshift提供增加可用性和可靠性的功能,例如自动备份以及在几分钟内将丛集重新定位到另一个可用区域的能力。现今,许多资料库使用主要和备用之间复制模式(primary-standby replication mode)支援高可用性,由单一资料库为即时流量提供服务,并即时复制资料至备用??本,以备不时之需。以此功能为基础,Amazon Redshift现在提供高可用配置以达到快速回复,同时最大限度地降低资料遗失风险。借助Amazon Redshift多可用区域功能,客户可以横跨多个可用区域部署丛集,并使用所有资源处理读写查询,取消低利用率的备用??本,大幅提高性价比。如同管理单一Amazon Redshift资料仓储,客户可以在一个端点管理多可用区域资料库而无需更改应用,即可保持业务连续性。

Genpact提供的riskCanvas是一款软体即服务(Software as a Service,SaaS)产品,也是金融犯罪合规解决方案。利用顶尖的大数据、自动化和机器学习技术,帮助客户保障合规、提高效率并实现自动化。riskCanvas技术长暨Genpact金融犯罪技术??总裁Ryan Skousen表示:「riskCanvas以实体为中心的监控纳入交易监测、外部资源、监测列表筛选和负面新闻,以自动评估风险。仅在客户的真实风险超过预定义值时,提醒高风险客户,从而大幅减少合规要求的工作量。此技术需要大量且多样化的分析处理,通常会遇到高峰期和不可预测的资料负载。我们很高兴可以使用Amazon OpenSearch Serverless,其自动扩展性满足工作负载的资料导入和分析处理需求,并可随着需求减少而缩减规模,大幅降低成本,而不需要重新设计或维护。」

美国金融业监管局(FINRA)是美国的证券公司监管机构,负责监管股票、债券和期货交易。美国金融业监管局资深主管Ratnakar Korem表示:「美国金融业监管局在Amazon Athena上开发应用,使分析师和业务合作夥伴安全地查询每天更新的数个TB级金融交易资料。我们很高兴使用Amazon Athena for Apache Spark。Amazon Athena的快速和易用性优势将极大助益我们的按需分析和批次处理分析。美国金融业监管局将透过此无伺服器功能分析大数据,而不需花费精力明确定义运算资源以及调整Apache Spark效能。最终有助於法规使用者和资料分析师快速回应不断变化的市场动态,节省成本和时间。」

美国联合航空(United Airlines)经营横跨美国和六大洲大小城市的庞大国内和国际航线网路。美国联合航空资料工程总监Sarang Bapat表示:「联合航空为客户和员工建构数百个资料和分析驱动工具,管理和维护资料品质,对我们的营运至关重要。我们很高兴运用AWS Glue Data Quality,使我们在几分钟内自动辨识和分析资料品质问题并采取行动,协助我们节省花在手动辨识和修复资料问题上的大量时间,做出明智、及时并准确的决策。」

杨森药厂(Janssen Pharmaceuticals)是娇生旗下成员,致力於研究和生产药品,并关注患者和医疗保健产业不断变化的需求。杨森药厂资讯技术总监Shyam Mohapatra表示:「杨森药厂使用Amazon Redshift取得关键洞察,让资料科学家、资料管理员、业务使用者和外部利益相关者做出重要的业务决策。Amazon Redshift的多可用区域功能可以确保资料库随时可用,不会出现延迟或影响我们做出任何重要的业务决策。」

關鍵字: 数位转型  数据中心  伺服器  公有云  AWS 
相关新闻
势流科技2024 Simcenter Taiwan User Conference登场 西门子高层分享数位化创新趋势
Crayon加入AWS生成式AI合作夥伴创新联盟
IBM提出「智慧金融蓝图」 吁善用生成式AI打造叁与式银行
资拓宏宇云端永续智能方案 打造数位转型新解方
2024中华邮政大数据竞赛广纳全台42校AI创意
comments powered by Disqus
相关讨论
  相关文章
» 光通讯成长态势明确 讯号完整性一测定江山
» 分众显示与其控制技术
» 新一代Microchip MCU韧体开发套件 : MCC Melody简介
» 最隹化大量低复杂度PCB测试的生产效率策略
» 公共显示技术迈向新变革


刊登廣告 新聞信箱 读者信箱 著作權聲明 隱私權聲明 本站介紹

Copyright ©1999-2024 远播信息股份有限公司版权所有 Powered by O3  v3.20.1.HK8B8CHN1VGSTACUKU
地址:台北数位产业园区(digiBlock Taipei) 103台北市大同区承德路三段287-2号A栋204室
电话 (02)2585-5526 #0 转接至总机 /  E-Mail: webmaster@ctimes.com.tw