Ambari技术介绍-尚硅谷大数据培训

什么是Ambari

Apache Ambari项目旨在通过开发用于配置，管理和监控Apache Hadoop集群的软件来简化Hadoop管理。Ambari提供了一个直观，易用的Hadoop管理Web UI。

Ambari的功能

提供了跨任意数量的主机安装Hadoop服务的分步向导。

处理群集的Hadoop服务配置。

提供集中管理，用于在整个集群中启动，停止和重新配置Hadoop服务。

提供了一个仪表板，用于监控Hadoop集群的运行状况和状态。

利用Ambari指标系统进行指标收集。

利用Ambari Alert Framework进行系统警报，并在需要您注意时通知您（例如，节点出现故障，剩余磁盘空间不足等）。

环境准备

注意：以下操作三台机器都需要进行

1 虚拟机准备

克隆三台虚拟机（hadoop102、hadoop103、hadoop104），配置好对应主机的网络IP、主机名称、关闭防火墙。

[root@hadoop102 ~]# chkconfig iptables off

[root@hadoop102 ~]# service iptables stop

[root@hadoop102 ~]# chkconfig –list iptables

iptables        0:关闭  1:关闭  2:关闭  3:关闭  4:关闭  5:关闭  6:关闭

2 关闭SELINUX

[root@hadoop102 ~]# vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled

执行该命令后重启机器生效

3 安装JDK

1）在hadoop102的/opt目录下创建module和software文件夹

[root@hadoop102 opt]# mkdir module

[root@hadoop102 opt]# mkdir software

2）用SecureCRT将jdk-8u144-linux-x64.tar.gz导入到hadoop102的/opt/software目录下

3）在Linux系统下的opt目录中查看软件包是否导入成功

[root@hadoop102 software]$ ls

jdk-8u144-linux-x64.tar.gz

4）解压JDK到/opt/module目录下

[root@hadoop102 software]$ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/

5）配置JDK环境变量

   （1）先获取JDK路径

[root@hadoop102 jdk1.8.0_144]$ pwd

/opt/module/jdk1.8.0_144

   （2）打开/etc/profile文件

[root@hadoop102 software]$ vi /etc/profile

在profile文件末尾添加JDK路径

#JAVA_HOME

export JAVA_HOME=/opt/module/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

   （3）保存后退出

:wq

   （4）让修改后的文件生效

[root@hadoop102 jdk1.8.0_144]$ source /etc/profile

6）测试JDK是否安装成功

[root@hadoop102 jdk1.8.0_144]# java -version

java version “1.8.0_144”

7）将hadoop102中的JDK和环境变量分发到hadoop103、hadoop104两台主机

[root@hadoop102 opt]# xsync /opt/module/

[root@hadoop102 opt]# xsync /etc/profile

分别在hadoop103、hadoop104上source一下

[root@hadoop103 ~]$ source /etc/profile

[root@hadoop104 ~]# source /etc/profile

4 SSH免密登录

配置hadoop102对hadoop102、hadoop103、hadoop104三台主机的免密登陆。

1）生成公钥和私钥：

[root@hadoop102 .ssh]$ ssh-keygen -t rsa

然后敲（三个回车），就会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

2）将公钥拷贝到要免密登录的目标机器上

[root@hadoop102 .ssh]$ ssh-copy-id hadoop102

[root@hadoop102 .ssh]$ ssh-copy-id hadoop103

[root@hadoop102 .ssh]$ ssh-copy-id hadoop104

5 修改yum源为阿里云镜像

[root@hadoop102 yum.repos.d]# mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bk

[root@hadoop102 yum.repos.d]# wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-6.repo

//把服务器的包下载到本地缓存

[root@hadoop102 yum.repos.d]# yum makecache

6 安装ntp

[root@hadoop102 ~]# yum install -y ntp

[root@hadoop102 ~]# chkconfig –list ntpd

[root@hadoop102 ~]# chkconfig ntpd on

[root@hadoop102 ~]# service ntpd start

7 关闭Linux的THP服务

如果不关闭transparent_hugepage，HDFS会因为这个性能严重受影响。

关闭transparent_hugepage方法是：

[root@hadoop102 ~]# vim /etc/grub.conf

添加 transparent_hugepage=never

[root@hadoop102 ~]#   vim /etc/rc.local

添加：

if test -f /sys/kernel/mm/transparent_hugepage/defrag; then

  echo never > /sys/kernel/mm/transparent_hugepage/defrag

fi

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then

  echo never > /sys/kernel/mm/transparent_hugepage/enabled

fi

exit 0

重启之后，用下面的命令检查：

[root@hadoop102 yum.repos.d]#

cat /sys/kernel/mm/redhat_transparent_hugepage/enabled

always madvise [never]

有 [never]则表示THP被禁用

8 配置UMASK

设定用户所创建目录的初始权限

[root@hadoop102 ~]# umask 0022

9 禁止离线更新

vim /etc/yum/pluginconf.d/refresh-packagekit.conf

修改：enabled=0