Kylin

目录

1.Kylin 定义

2.Kylin架构

 1）REST Server

2）查询引擎（Query Engine）

3）路由器（Routing）

4）元数据管理工具（Metadata）

5）任务引擎（Cube Build Engine）

HBase 安装部署

HBase的解压与配置

1）解压HBase到指定目录

2）hbase-env.sh修改内容

3）hbase-site.xml修改内容

4）regionservers

5）软连接hadoop配置文件到HBase

6）HBase远程发送到其他集群

7）启停HBase

3.Kylin搭建

1）解压apache-kylin-3.0.2-bin.tar.gz到/opt/module

2）解决Kylin兼容性问题

3）Kylin启动

---

1.Kylin 定义

        Apache Kylin是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

2.Kylin架构

 1）REST Server

      REST Server是一套面向应用程序开发的入口点，旨在实现针对Kylin平台的应用开发工作。 此类应用程序可以提供查询、获取结果、触发cube构建任务、获取元数据以及获取用户权限等等。另外可以通过Restful接口实现SQL查询。

2）查询引擎（Query Engine）

      当cube准备就绪后，查询引擎就能够获取并解析用户查询。它随后会与系统中的其它组件进行交互，从而向用户返回对应的结果。

3）路由器（Routing）

      在最初设计时曾考虑过将Kylin不能执行的查询引导去Hive中继续执行，但在实践后发现Hive与Kylin的速度差异过大，导致用户无法对查询的速度有一致的期望，很可能大多数查询几秒内就返回结果了，而有些查询则要等几分钟到几十分钟，因此体验非常糟糕。最后这个路由功能在发行版中默认关闭。

4）元数据管理工具（Metadata）

       Kylin是一款元数据驱动型应用程序。元数据管理工具是一大关键性组件，用于对保存在Kylin当中的所有元数据进行管理，其中包括最为重要的cube元数据。其它全部组件的正常运作都需以元数据管理工具为基础。 Kylin的元数据存储在hbase中。

5）任务引擎（Cube Build Engine）

       这套引擎的设计目的在于处理所有离线任务，其中包括shell脚本、Java API以及Map Reduce任务等等。任务引擎对Kylin当中的全部任务加以管理与协调，从而确保每一项任务都能得到切实执行并解决其间出现的故障。

 

 安装Kylin前需先部署好Hadoop、Hive、Zookeeper、HBase，并且需要在/etc/profile中配置以下环境变量HADOOP_HOME，HIVE_HOME，HBASE_HOME，记得source使其生效

HBase 安装部署

首先得保证Zookeeper和Hadoop都正常部署，这样才能安装好HBase。

HBase的解压与配置

1）解压HBase到指定目录

[atguigu@hadoop102 software]$ tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/module

2）hbase-env.sh修改内容

export HBASE_MANAGES_ZK=false

3）hbase-site.xml修改内容

<configuration>
  <property>
    <name>hbase.rootdirname>
    <value>hdfs://hadoop102:8020/hbasevalue>
  property>
  <property>
    <name>hbase.cluster.distributedname>
    <value>truevalue>
  property>
  <property>
    <name>hbase.zookeeper.quorumname>
    <value>hadoop102,hadoop103,hadoop104value>
  property>
configuration>

4）regionservers

hadoop102
hadoop103
hadoop104

5）软连接hadoop配置文件到HBase

[atguigu@hadoop102 module]$ ln -s /opt/module/hadoop-3.1.3/etc/hadoop/core-site.xml 
 
/opt/module/hbase/conf/core-site.xml
 
[atguigu@hadoop102 module]$ ln -s /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml 
 
/opt/module/hbase/conf/hdfs-site.xml

6）HBase远程发送到其他集群

[atguigu@hadoop102 module]$ xsync hbase/

7）启停HBase

[atguigu@hadoop102 hbase]$ bin/start-hbase.sh
 
[atguigu@hadoop102 hbase]$ bin/stop-hbase.sh

HBase页面： hadoop102:16010

3.Kylin搭建

1）解压apache-kylin-3.0.2-bin.tar.gz到/opt/module

[atguigu@hadoop102 sorfware]$ tar -zxvf apache-kylin-3.0.2-bin.tar.gz -C /opt/module/
 
[atguigu@hadoop102 module]$ mv /opt/module/apache-kylin-3.0.2-bin /opt/module/kylin

2）解决Kylin兼容性问题

修改/opt/module/kylin/bin/find-spark-dependency.sh，排除冲突的jar包

# 需要增加的内容：! -name '*jackson*' ! -name '*metastore*'

3）Kylin启动

启动Kylin之前，需先启动Hadoop（hdfs，yarn，jobhistoryserver）、Zookeeper、Hbase

[atguigu@hadoop102 kylin]$ bin/kylin.sh start

看到各个节点进程为这个则成功

--------------------- hadoop102 ----------------
3360 JobHistoryServer
31425 HMaster
3282 NodeManager
3026 DataNode
53283 Jps
2886 NameNode
44007 RunJar
2728 QuorumPeerMain
31566 HRegionServer
--------------------- hadoop103 ----------------
5040 HMaster
2864 ResourceManager
9729 Jps
2657 QuorumPeerMain
4946 HRegionServer
2979 NodeManager
2727 DataNode
--------------------- hadoop104 ----------------
4688 HRegionServer
2900 NodeManager
9848 Jps
2636 QuorumPeerMain
2700 DataNode
2815 SecondaryNameNode