Ranger功能验证

Apache Ranger功能验证

1、概况

1.1、Apache Ambari

Apache Ambari 是一个基于 Web 的 Apache Hadoop 集群的供应、管理和监控。Ambari 目前已支持大多数 Hadoop 组件，包括 HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop 和 Hcatalog 等。

1.2、Ranger支持的插件

2、功能验证

2.1、hive用户配置过滤策略

2.2、使用hive用户查询过滤结果

2.3、hive用户配置脱敏策略

2.4、使用hive用户查询脱敏结果

2.5、zhangsan用户配置脱敏策略

2.6、使用zhangsan用户查询脱敏结果

3、Ranger集成Presto

3.1、Presto概述

Presto是大数据场景中常用的查询引擎，其采用master- slave架构，支持跨数据源类型查询，支持动态横向扩展，采用了内存并行处理、跨集群节点管线执行、多线程执行模型、高效的扁平内存数据结构、Java字节码生成等技术，来完成分布式数据查询和处理。现已广泛应用于OLAP场景。

3.2、Presto计算引擎架构

3.3、Ranger集成Presto

3.4、公司现状

1、Apache Ambari 2.7.4支持的Ranger版本为1.2，不支持Presto插件。只有升级Ranger 2.X版本才支持Presto，升级会有成本。

2、使用Ranger脱敏后的数据，提供接口服务，会导致Hive连接压力过大的问题。使用连接池的话，会有开发成本。

3.5、解决方案（建议）

1、选择Apache Doris

2、易用性

采用MySQL协议和语法，可以通过各类客户端工具来访问，能过与BI工具无缝对接；

支持多表join，针对不同场景join提供了多种优化方案；

生态扩展完善，离线数据的高效批量导入，流式数据的低延迟实时导入都有很好的支持；

简洁的分布式架构，只有FE、BE两个进程，运行不依赖任何第三方系统；

支持弹性伸缩，对于部署、运维非常友好；

3、性能

MPP架构、高效列式存储引擎；

支持数据的预聚合以及预聚合结果的自动更新；

支持数据的实时更新；

3、性能

MPP架构、高效列式存储引擎；

支持数据的预聚合以及预聚合结果的自动更新；

支持数据的实时更新；

支持高并发查询；