cdh 6.3.2 离线部署

 

主机列表

 203 204 为name node ,其它为data node 

一、主机初始化

       1. 0.203 对其它主机免密。

       2、所有主机添加host 。主机为全小写。如果有大写，会出现警告。

       3、安装JDK 

             rpm -ivh oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

             修改配制文件

              vim /etc/profile

                export JAVA_HOME=/usr/java/jdk1.8.0_181-clouder

                export PATH=$JAVA_HOME/bin:$PATH

  

             刷新配制 

                source /etc/profile

       4、关闭selinux 

        vim /etc/selinux/config

        SELINUX=disabled 

       5、ntp 时间同步       

        # 安装NTP

        yum install ntp

        修改 /etc/ntp.conf ，添加下面的配置            

                server ntp.aliyun.com    

        sudo systemctl start ntpd

        开机启动

        sudo systemctl enable ntpd

        chkconfig ntpd on

        ntpdate -u ntp.aliyun.com

        设置时区

        timedatectl set-timezone Asia/Shanghai

        修改交换分区

        echo "vm.swappiness = 10" >> /etc/sysctl.conf

        或者 

         echo "vm.swappiness = 0" >> /etc/sysctl.conf

        禁用大页面压缩

        echo never > /sys/kernel/mm/transparent_hugepage/defrag
        echo never > /sys/kernel/mm/transparent_hugepage/enabled

        jdk 环境安装。

                因为有版要求，所以建方案装安装包里的 oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm 版本。

               rpm -ivh  oracle-j2sdk1.8-1.8.0+update181-1.x86_64.rpm

                修改配制文件 vim /etc/profile 

                export JAVA_HOME=/usr/java/jdk1.8.0_181-cloudera
                export PATH=$JAVA_HOME/bin:$PATH
                export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

                刷新配制文件

                source /etc/profile 

                

二、安装mysql 

        此处安装步骤忽略 。请自行安装

        安装jdbc 驱动

        下载地址

https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.47.tar.gz

        tar zxvf mysql-connector-java-5.1.47.tar.gz

        mkdir -p /usr/share/java/

        cd mysql-connector-java-5.1.47

        cp mysql-connector-java-5.1.47-bin.jar /usr/share/java/mysql-connector-java.jar

        所有节点全部分发jdbc 驱动

        创建用户：

        grant all on *.* to 'cdh_user'@'%' identified by '123456' with grant option;

        

三、配制 yum 源  

        只需要第一台机器 安装

        #更新yum源httpd

        yum -y install httpd

        #启动 httpd 

        systemctl start httpd.service

        #配置httpd永久生效（重启生效）

        chkconfig httpd on

        

• 更新yum源yum-utils

  #更新yum源yum-utils createrepo

  yum -y install yum-utils createrepo

  #进入yum源路径

  cd /var/www/html/

  #创建cm文件夹

  mkdir cm

• 解压 cm6.3.1-redhat7.tar.gz  

• 将解压好的文件放到到 /var/www/html/cm 目录 中

• 

   

• 创建yum源

• createrepo /var/www/html/cm/

• 创建本地文件

• vim /etc/yum.repos.d/cloudera-manager.repo 

• name=Cloudera Manager, Version yum
  baseurl=http://192.168.0.201/cm
  gpgcheck=0
  enabled=1

• 更新yum 

  • yum clean all

    yum makecache

        验证：

        yum list | grep cloudera-manager

        

       yum 文件分发到所有节点

         scp ./cloudera-manager.repo 192.168.0.204:/etc/yum.repos.d/

               ........

四、安装cm server /agent 

        主节点：

        yum -y install cloudera-manager-daemons cloudera-manager-agent cloudera-manager-server

        从节点

        yum -y install cloudera-manager-daemons cloudera-manager-agent

 安装agent时报错：Transaction check error:
file /usr/lib/systemd/system/supervisord.service from install of cloudera-manager-agent-6.3.1-1466458.el7.x86_64 conflicts with file from package supervisor-3.4.0-1.el7.noarch
解决方案：
运行以下命令卸载掉有冲突的包，在重新安装agent即可；
-> yum -y remove supervisor-3.4.0-1.el7.noarch 

    停止服务 systemctl stop supervisord.service

     修改 vim /etc/cloudera-scm-agent/config.ini  所有节点  

        server_host=192.168.0.203 指向到管理 节点

五、初始化库表

        cd  /opt/cloudera/cm/schema

        # -u用户，-p密码 ，数据库类型，数据库，用户，密码

        ./scm_prepare_database.sh mysql -h192.168.10.81 -ucdh_user -pcdh_user scm cdh_user cdh_user

删除内置的pgsql 配制

rm -f /etc/cloudera-scm-server/db.mgmt.properties

六、启动 cloudera

        启动 cloudera-scm-server 只在主节点启动。

         systemctl start cloudera-scm-server

        启动 cloudera-scm-agent 所有节点 

        systemctl start cloudera-scm-agent.service

七、安装集群

http://192.168.0.203:7180/