CDH大数据平台集群部署

1. 资源准备

  准备好CDH安装包资源，官方网站下载需要账号，如果没有账号可以去网上到处搜搜。主要涉及到的资源有：

• cloudera-manager-server
• cloudera-manager-daemons
• cloudera-manager-agent
• mysql-connector-java.jar
• CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel 以及相关校验值

2. 部署 Mariadb 数据库

• 安装 mariadb 服务

yum install mariadb-server
1

• 启动数据库

systemctl enable mariadb
systemctl start mariadb
1
2

• 初始化数据库配置

mysql_secure_installation
1

  若CM服务与数据库不在同一台机器上，需要对数据库进行设置，使其允许其他机器IP远程访问数据库。这点非常重要，否则将会导致CM初始化数据库失败。

3. 安装CM服务

• 安装CM程序

yum install cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
1

• 修改数据库配置

vim /etc/cloudera-scm-server/db.properties
1

# Copyright (c) 2012 Cloudera, Inc. All rights reserved.
#
# This file describes the database connection.
#

# The database type
# Currently 'mysql', 'postgresql' and 'oracle' are valid databases.
com.cloudera.cmf.db.type=mysql

# The database host
# If a non standard port is needed, use 'hostname:port'
com.cloudera.cmf.db.host=mariadb-server-ip:port

# The database name
com.cloudera.cmf.db.name=cmf

# The database user
com.cloudera.cmf.db.user=<用户名>

# The database user's password
com.cloudera.cmf.db.password=<数据库密码>

# The db setup type
# After fresh install it is set to INIT
# and will be changed post config.
# If scm-server uses Embedded DB then it is set to EMBEDDED
# If scm-server uses External DB then it is set to EXTERNAL
com.cloudera.cmf.db.setupType=EXTERNAL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28

• 添加mysql驱动程序

cp mysql-connector-java-6.0.6.jar /usr/share/java/mysql-connector-java.jar
1

• 复制CDH安装包到/opt/cloudera/parcel-repo目录

CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha1  
CDH-6.3.2-1.cdh6.3.2.p0.1605554-el7.parcel.sha256  
manifest.json
1
2
3
4
5

• 启动 cloudera-scm-server 服务

systemctl start cloudera-scm-server
1

4. 安装数据节点

  CM服务是集群的管理节点，CM负责管理大数据集群内所有的数据节点，数据节点上需要部署 agent 服务，agent服务负责与CM服务通信，CM 服务通过 agent 服务来管理集群内所有的数据节点。

• 安装 agent 服务

yum install cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm
1

• 修改 agent 配置

vim /etc/cloudera-scm-agent/config.ini 
1

[General]
# Hostname of the CM server.
server_host=k8s-node1

# Port that the CM server is listening on.
server_port=7182
1
2
3
4
5
6

• 启动 agent 服务

systemctl start cloudera-scm-agent
1

5. 登录CM系统

  CM服务默认端口是 7180， 默认账号以及初始密码是：admin/admin。请确保 7180 端口没有被防火墙禁止。登录系统后将会做基础的配置，根据需要选择合适的版本，企业版需要购买License，Express 版本免费使用，但是支持的功能有限。

• 版本选择完成后进入到配置服务的页面，
  
• 设置集群名称
• 
• Express 版本最大支持100个主机，这一步主要设置主机名，建议将 hostname 设置成 CM 机器的主机名，选择Currently Managed Hosts 选项卡，将会显示出所有的 agent 节点。如果需要添加新节点，可以选择 New Hosts 选项卡进行操作。New Hosts 选项卡中添加新节点，需要有软件包管理服务。
  
• 开始安装Parcels
  
    后续流程不在一一截图展示，根据提示进行操作，即可完成CDH的安装部署。基于CDH部署一套大数据平台比较容易，难点在于真正发挥大数据业务分析价值，不然淡出的搭建一套大数据平台而没有具体的有价值的业务去实践，有点浪费资源。