hadoop3.x学习（一）--安装与环境配置

一、hadoop的组成

• hadoop1.x：Commons、HDFS（数据存储）、MapReduce（资源调度+计算）
• hadoop2.x:Commons、HDFS（数据存储）、MapReduce（计算）、Yarn(资源调度)

1.1 HDFS

• 分布式存储文件系统。分为NameNode和DataNode
• NameNode： 管理元数据，负责监控DataNode状态，存储在内存。
• DataNode: 负责存储具体的数据。dataNode和nameNode有一个心跳机制，数据存储在磁盘。

1.2 Yarn（资源调度）

• Resource Manager：所有资源（内存、CPU等）的管理者
• Node Manager: 单一资源的管理者。
• ApplicationMaster: 单个任务的执行者
• Container: 容器，相当于一台独立的服务器，有对应运行所需要的的资源

1.2 MapReduce（计算）

将任务分发给每一台服务器，然后结果汇总到一台服务器

二、VM配置多台服务器

1.1 修改虚拟机配置ip网段

• VM点击编辑，设置虚拟网络编辑器，点击VMnet8修改子网ip为192.168.10.0，修改网关为192.168.10.2。
• windows打开网络配置，点击vm8修改ipv4
  
• 修改/etc/sysconfig/network-scripts/ifcfg-ens33
  修改BOOTPROTO为static #静态ip
  #添加一下内容
  IPADDR=192.168.10.100
  GATEWAY=192.168.10.2
  DNS1=192.168.10.2
• 修改hostname为hadoop100
  vi /etc/hostname
• 修改hosts映射
  vi /etc/hosts
  #添加以下内容
  192.168.10.100 hadoop100
  192.168.10.101 hadoop101
  192.168.10.102 hadoop102
  192.168.10.103 hadoop103
  192.168.10.104 hadoop104
  192.168.10.105 hadoop105
  192.168.10.106 hadoop106
  192.168.10.107 hadoop107
  192.168.10.108 hadoop108

1.2 虚拟机的基础配置

• 如果虚拟机为最小系统安装，需要安装如下工具
  #软件库(官方的rpm会缺少一些包)
  yum install -y epel-release
  #vim
  yum install -y vim
  #net-tool
  yum install -y net-tools
• 关闭停止防火墙
  systemctl stop firewalld
systemctl disable firewalld.service

1.3 克隆虚拟机(hadoop102 103 104)

• 关闭虚拟机，进行克隆，创建完整克隆
• 轮流登录修改ip
  vi /etc/sysconfig/network-scripts/ifcfg-ens33
  修改IPADDR为192.168.10.102 (103 104)
• 修改主机名称
  vi /etc/hostname hadoop102 (103 104)

三、配置hadoop基本的环境

1.1 在hadoop102上安装jdk和hadoop

tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module

1.2 配置jdk的环境变量

cd /etc/profile.d
vim my_env.sh
####
#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_212
export PATH=$PATH:$JAVA_HOME/bin
####
source /etc/profile
1
2
3
4
5
6
7
8

1.3 安装hadoop

tar -xvzf hadoop-3.1.3.tar.gz -C /opt/module/
1

1.4 配置hadoop的环境变量

vim /etc/profile.d/my_env.sh

#HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin