Hadoop的配置

1. 配置主机名 /etc/sysconfig/network hostname=master master是主节点的意思
需要重启虚拟机才能生效
2. 配置主机名和ip地址的映射
先确保静态ip配置好了，在主机可以ping虚拟机，在虚拟机可以ping通主机
eth0 的网卡设置为 仅主机模式
/etc/hosts 192.168.56.2 master

3.ssh
先确保自己电脑上安装了ssh rpm -qa | grep ssh
安装过ssh 可以直接启动服务 service sshd start ，关闭linux防火墙 service iptables stop
chkconfig iptables off 永久关闭
ssh免密登录
1、生成公钥 ssh-keygen -t rsa
2.拷贝公钥 ssh-copy-id -i ~/.ssh/id_rsa.pub root@master

4.java 环境配置
首先上传jdk和hadoop压缩包
1.解压 jdk tar -zxvf jdk…
2.配置环境变量
需要先删除本地的jdk
查找本地安装的jdk包 rpm -qa | grep jdk
删除本地包 rpm -e --nodeps xxxx…

配置环境变量 /etc/profile
export JAVA_HOME=/java的安装地址
export PATH=$PATH:$JAVA_HOME/bin

环境变量配置好以后先 source 生效 source /etc/profile
验证配置成功 java -version 1.8的版本

5.hadoop配置
1、解压hadoop tar -zxvf hadoop…
2. 配置环境变量 /etc/profile
export HADOOP_HOME=/hadoop的安装地址
export PATH=$PATH:$HADOOP_HOME/bin
使环境变量生效 source

3.配置hadoop 的配置文件、
在 hadoop安装目录 下的 etc/hadoop

hadoop-env.sh
配置jdk 和hadoop的环境变量
export JAVA_HOME=/root/soft/jdk1.8.0_161
export HADOOP_HOME=/root/soft/hadoop-2.6.0-cdh5.7.0

core-site.xml
配置 hdfs文件系统的地址

fs.defaultFS
hdfs://master:8020

hdfs-site.xml
第一个 dfs.replication data副本的数量 第二个 dfs.name.dir namenode的数据存放地址
第三个 dfs.data.dir datanode 的数据存放地址

dfs.replication
3


dfs.name.dir
/root/soft/hdfs/name


dfs.data.dir
/root/soft/hdfs/data

slaver
配置 master

格式化 hdfs
hadoop namenode -format

启动 在hadoop安装目录下 的sbin目录
./start-dfs.sh 启动
./stop-dfs.sh 停止
启动成功jps 会有 四个进程 datanode namenode secondarynamenode jps