携手！Kyligence 支持 Amazon EMR Serverless，赋能云上企业降本增效

近日，Kyligence 与亚马逊云科技宣布 Kyligence Cloud 4.6 正式支持 Amazon EMR Serverless，共同助力企业构建高效、低成本云上数据分析。今天，我们将为大家介绍 Kyligence Cloud 4.6 如何通过集成 Amazon EMR Serverless  提供端到端的云上数据管理和分析的整体解决方案，从而简化部署和运营，降低总体拥有成本（TCO），进一步缩短数据湖的价值实现时间。

1. 关于 Amazon EMR Serverless

Amazon EMR Serverless 是亚马逊云推出的无服务化 Spark 集群托管服务，可自动预置、扩展应用程序所需的计算和内存资源，同时集成了基于开源分析框架（例如 Apache Spark 和 Apache Hive ）的机器学习程序。由于无需再进行任何有关集群的调整、运维、优化、安全保障以及管理等工作，Amazon EMR Serverless 使得数据工程师和分析师能够进一步在其工作中实现降本增效。 

2. 关于 OLAP

OLAP 是一种在海量数据之上快速应答各类分析查询的技术，通过将大型或多个数据集上卷为一个多维数据库（OLAP cube）、支持从各个维度对数据进行“切片和切块”，从而提供了预计算、复杂数据建模及多维分析等功能，提升查询体验。尽管 OLAP 工具已经成功应用于各行各业，但仍面临诸多挑战：

• 重度依赖 IT 资源：传统的 OLAP 工具需要复杂的基础架构来运行大规模数据计算，因此需要一个庞大的 IT 团队负责运维，影响整体成本。
• 大量的计算资源：传统的 OLAP 工具需要一系列的数据处理和转换动作才能得到结果，因此需要大量的计算资源。OLAP 工具的响应速度严重依赖于计算资源的充足性，计算能力的缺乏会大幅降低它的灵活性。因此，数据分析师往往只能基于较小的数据集展开工作，无法自助分析所有数据。
• 云资源使用效率低下：当在云端进行大规模的数据建模计算时，成本估算工具会估算并部署相应的计算资源。但这些资源的利用率往往不是很高，资源的使用效率低下。

通过集成 Amazon EMR Serverless，各类 OLAP 工具可以将 Amazon EMR Serverless 作为无服务器计算资源池来完成数据处理作业，简化和提升用户体验。

3. Kyligence Cloud X 亚马逊云

Kyligence 是亚马逊云科技的 ISV 合作伙伴，通过提供智能多维数据库平台帮助企业简化数据湖上的多维数据分析。作为一个云原生的 OLAP 平台，Kyligence Cloud 通过集成 Amazon EMR Serverless 自动提供 Spark 来运行索引和构建作业，用户可以体验 Kyligence 结合 Amazon EMR Serverless 后的所有功能和优势。

Kyligence 支持无缝对接各种亚马逊云平台的原生数据源，例如 Amazon S3、Amazon Redshift 和 Amazon RDS，以充分利用您在亚马逊云上的数据，构建全面的亚马逊云大数据解决方案。在数据建模时，Kyligence 会使用 Amazon S3 来存储预先计算的数据，并支持高并发查询。Kyligence 还支持无缝对接 Tableau、Microsoft Power BI 及 Microsoft Excel 等业内流行的商业智能（BI）工具，以及丰富的内置数据可视化和自助服务工具。

 Kyligence Cloud 在亚马逊云平台上的架构

4. Kyligence Cloud 在亚马逊云平台为您带来的优势

通过支持亚马逊云平台，Kyligence Cloud 将为您带来以下优势：

• 高性能：借助亚马逊云平台的全球基础设施和 Amazon EMR 的分布式计算能力，Kyligence 打造了一个可扩展且经济高效的高性能 OLAP 引擎，助力您的多维分析。同时支持关键数据应用和大规模交互式分析、PB 量级上的亚秒级查询响应时间，还提供了优异的高并发访问性能。

• 自动扩展： Kyligence Cloud 支持计算资源的一键扩展，随着工作负载的减少，集群规模可以自动缩减，在优化成本的同时，保证卓越的服务稳定性。

• 高兼容性：Kyligence Cloud 提供丰富的 API 接口（ODBC、JDBC、Rest API、Python 客户端）和标准 ANSI-SQL 及 XMLA/MDX 接口，可轻松与业内流行的分析工具集成，如 Tableau、Microsoft Excel、Microsoft Power BI 以及 Python 等数据科学工具。

• 安全性和可靠性：借助 Amazon S3、Amazon RDS、Kyligence 企业级安全特性及亚马逊云平台身份和访问管理（IAM）支持，Kyligence Cloud 针对用户的亚马逊云平台服务和资源提供了全方位的访问控制，同时支持对数据模型、表格及单元格的多级访问控制，以保障数据安全和信息隐私。

• 支持一键部署：Kyligence Cloud 平台已经登陆 AWS Marketplace。该项部署基于 AWS CloudFormation 模板和参数设置自动完成。Kyligence 执行自动化的集群运维管理和基于规则的集群弹性伸缩，彻底解放 IT 管理员和云基建团队的生产力。此外，您也可通过 Kyligence Cloud Portal 门户网快速部署。

5. Amazon EMR Serverless 如何与OLAP 集成

通过集成 Amazon EMR Serverless 服务，Kyligence Cloud 提供开箱即用的 Apache Spark 托管服务。Kyligence 引擎可以将计算任务下发给 Amazon EMR Serverless 中的 Apache Spark。借助 Amazon EMR Serverless 提供的自动按需预置和扩展功能，Kyligence 还可快速满足任何数据量下不断变化的处理需求。

Kyligence Cloud 与 Amazon EMR Serverless 的集成方式

6.强强联合：Kyligence Cloud + Amazon EMR Serverless

在之前的版本中，Kyligence 会在 Amazon EC2 上部署和维护自己的 Spark 集群，以处理多维模型预计算，用户需要自行构建监控和报警系统来保证 Spark 集群的可观测性及稳定性。

现在，通过集成 Amazon EMR Serverless，Kyligence 为用户提供了一种在亚马逊云平台上运行云分析的降本增效方式：

• 简化云上部署 ：借助托管服务，Kyligence Cloud 用户无需考虑底层基础架构和资源的生命周期， 从而大幅降低应用程序的复杂性，并简化 Kyligence Cloud 的部署。

• 提升云上性能：得益于 Amazon EMR Serverless 精细化的扩展策略，Kyligence Cloud 支持更快地启动和回收资源。根据 Kyligence 的性能基准测试，与用于索引构建的开源 Spark 集群相比，集成  Amazon EMR Serverless 后，Kyligence 的性能提升了15%–20%。

• 降低运维难度：通过支持 Amazon EMR Serverless 的各项功能，运维人员无需了解底层分析框架，即可轻松维护计算资源的容量和运行状态。

• 优化云端成本：Amazon EMR Serverless 精细化的扩展策略，可自动识别应用程序所需的资源，在任务启动后分配所需资源，并在任务完成后释放。您只需为应用程序使用的资源付费，降低云端的总体拥有成本（TCO）。

通过集成 Amazon EMR Serverless 的托管和可扩展服务，Kyligence 通过较为简单的技术架构为用户带来了更优异的大数据自助分析体验。得益于这一解决方案，您现在可以专注于业务需求，而无需再去关注底层复杂的技术实现。

 

欢迎访问 Kyligence 官方网站 https://cn.kyligence.io/ 申请 1对1 免费演示或 30 天免费试用。您只需在部署期间在构建集群页签中选择 Serverless Spark 选项（如上图所示），即可体验 Amazon EMR Serverless。

关于 Kyligence

上海跬智信息技术有限公司 (Kyligence) 由 Apache Kylin 创始团队于 2016 年创办，致力于打造下一代企业级智能多维数据库，为企业简化数据湖上的多维数据分析（OLAP）。通过 AI 增强的高性能分析引擎、统一 SQL 服务接口、业务语义层等功能，Kyligence 提供成本最优的多维数据分析能力，支撑企业商务智能（BI）分析、灵活查询和互联网级数据服务等多类应用场景，助力企业构建更可靠的指标体系，释放业务自助分析潜力。

Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售等行业客户，包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、Costa、UBS、MetLife 等全球知名企业，并和微软、亚马逊、华为、Tableau 等技术领导者达成全球合作伙伴关系。目前公司已经在上海、北京、深圳、厦门、武汉及美国的硅谷、纽约、西雅图等开设分公司或办事机构。