centos7安装cdh6.3.2-附带安装包

安装包路径

百度云盘：链接: https://pan.baidu.com/s/1nIxYHXE0tJH4Ty-S07qLMQ?pwd=2qyb 提取码: 2qyb 

安装前准备

# 关闭、禁用防火墙
systemctl stop firewalld && systemctl disable firewalld
 
# 关闭selinux
setenforce 0
sed -i s#SELINUX=enforcing#SELINUX=disabled# /etc/selinux/config
 
# 禁用透明大页面和调整swap比例，所有节点都执行
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
sysctl vm.swappiness=10
 
cat >> /etc/rc.d/rc.local <<EOF
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
EOF
 
echo vm.swappiness=10 >> /etc/sysctl.conf
 
# 修改主机名，此处以第一台机器为例
hostnamectl set-hostname cdh01
 
# 目录规划
# cdh默认是安装在/opt目录下，一般运维安装操作系统时候/分区磁盘空间会比较小，会额外提供/data分区比较大，这里我也把通过软链cdh安装在/data中，如果你们/分区比较大的话可以省略这个步骤
# 程序安装目录 /data/module
# 数据目录 /data/data
# repo目录 /data/repo
# cloudera目录 /data/cloudera
# 临时目录 /data/tmp
 
# 别的机器也需要执行如下命令
mkdir -p /data/module /data/data /data/repo /data/tmp /data/cloudera && chmod 777 /data/data /data/tmp && ln -s /data/cloudera /opt/

开始安装

安装jdk

# 安装jdk(别的机器也需要执行如下命令)
mkdir -p /data/module/java && tar -zxf jdk-8u191-linux-x64.tar.gz -C /data/module/java
# 添加软链，cdh会从/usr/java目录下找
ln -s /data/module/java /usr/java
 
cat >> /etc/bashrc <<EOF
export JAVA_HOME=/data/module/java/jdk1.8.0_191
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin
EOF

安装mysql

# 安装mysql(仅在cdh01上执行)
wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar
tar -xvf mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar
rpm -qa | grep mariadb-libs && yum -y remove mariadb-libs
yum -y install perl net-tools
rpm -ivh mysql-community-common-5.7.39-1.el7.x86_64.rpm mysql-community-libs-5.7.39-1.el7.x86_64.rpm mysql-community-libs-compat-5.7.39-1.el7.x86_64.rpm mysql-community-client-5.7.39-1.el7.x86_64.rpm mysql-community-server-5.7.39-1.el7.x86_64.rpm
systemctl enable mysqld && systemctl start mysqld
grep "password" /var/log/mysqld.log
rm -f mysql-community-*.rpm
 
# 更改mysql用户名密码，创建数据库，密码为刚才grep的结果
mysql -uroot -p
set global validate_password_policy=LOW;
set global validate_password_length=6;
alter user user() IDENTIFIED BY '123456';
update mysql.user set Host='%' where User='root';
flush privileges;
drop database if exists scm;drop database if exists hive;drop database if exists hue;create database scm DEFAULT CHARACTER SET utf8;create database hive DEFAULT CHARACTER SET utf8;create database hue DEFAULT CHARACTER SET utf8;

如果用DBA提供的mysql，需要关闭数据库的gtid，授予权限尽量大一点，除了ddl权限还要授予REFERENCES权限。

安装cm

# 安装nginx和创建repo库
tar -zxf cdh6.3.2.tgz -C /data/repo/
yum install -y epel-release
yum install -y nginx createrepo
systemctl start nginx && systemctl enable nginx
createrepo /data/repo/cdh-6.3.2
createrepo /data/repo/cm-6.3.1
cat > /etc/nginx/conf.d/cdh-repo.conf <<EOF
server {
    listen       80;
    server_name  cdh01;
    root         /data/repo;
    autoindex    on;
}
EOF
 
nginx -s reload
# 此时可以访问http://cdh01/cdh-6.3.2/和http://cdh01/cm-6.3.1/看看是否正常，如果异常需要先解决
# 可以通过查看/var/log/nginx/error.log来看具体问题，常见的有权限导致的403，因为nginx默认是nginx用户，可能没有权限读取/data/repo目录
 
 
# 添加repo
cat > /etc/yum.repos.d/cloudera-manager.repo <<EOF
[manager-repos]
name = Cloudera Manager, Version 6.3.1
baseurl = http://cdh01/cm-6.3.1/
enabled = 1
gpgcheck = 0
EOF
 
# 安装cm
yum install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server
 
# 检验数据库权限
mkdir -p /usr/share/java && wget -O /usr/share/java/mysql-connector-java.jar https://repo1.maven.org/maven2/mysql/mysql-connector-java/5.1.47/mysql-connector-java-5.1.47.jar
/opt/cloudera/cm/schema/scm_prepare_database.sh -h localhost mysql scm root 123456
systemctl start cloudera-scm-server && systemctl enable cloudera-scm-server

图形化安装cdh

首先访问http://cdh01:7180/，用户名密码为admin/admin，登陆以后进入如下页面

点击继续，进入如下页面 

选择免费即可，点击继续按钮

 这个页面继续点击继续 

输入集群名，继续

hosts这里可以按照上述规则一起匹配，我这里只有一台机器，所以会出现只有cdh01可用的情况，点击继续，进入存储库页面，这里需要调整 

自定义存储库调整为：http://cdh01/cm-6.3.1

点击 选择方法使用Parcel(建议) 中的更多选项，删除无用的远程url，只保留http://cdh01/cdh-6.3.2

 最终页面内容如下，点击继续

 进入jdk安装页面，不勾选，直接继续(jdk开始已经安装，不再安装)

 进入ssh页面，这里如果知道密码就输入密码，不知道密码就用私钥，用私钥的前提是已经配置好了免密才行，这里我用密码

然后会自动执行安装agent和parcels

 进入检查页面

这里如果有问题的话根据检查结果修复即可。我这里只有一台机器，所以网络检查失败了。修复完所有异常后点击继续

 选择自定义服务，然后就可以根据情况选择自己需要安装的服务了。比如我这里只选择hdfs和yarn

 做一些配置修改

我这里会修改数据文件路径为/data/data目录下 ，修改完点击继续，开始安装 

 安装完后点击继续，进入完成页面

点击完成按钮

至此安装完成，黄色的配置问题以后文章提供部分解决办法，如果有问题也可以评论。