安装hadoop学习笔记

vmware 网关配置好像

192.168.199.2可以，用1好像不行

因为上面主机在v8的卡上可以看到1被用了，有一次我的机器死活不行了，主机与虚拟机之间都不通了，也按照要求设置nat等，后来只有还原虚拟机网络配置才行

 

安装好后可以进行克隆，但克隆需要注意网络的配置，否则不能用

1）修改/etc/udev/rules.d/70-persistent-net.rules 

拷贝eth1的硬件地址到eth0 

删除eth1信息 

2）配置/etc/sysconfig/network-scripts/ifcfg-eth0 

1）修改/etc/udev/rules.d/70-persistent-net.rules 

拷贝eth1的硬件地址到eth0 

删除eth1信息 

2）配置/etc/sysconfig/network-scripts/ifcfg-eth0 

DEVICE=eth0

HWADDR=00:0C:29:E7:16:6F

TYPE=Ethernet

UUID=b0f7b88a-fb28-4849-9d7c-0b0ddbe4d63c

ONBOOT=yes

NM_CONTROLLED=yes

BOOTPROTO=static

BROADCAST=192.168.199.255

IPADDR=192.168.199.131

NETMASK=255.255.255.0

GATEWAY=192.168.199.2

3）reboot 

能ping通地址但ping不通域名

在/etc/resolv.conf要类似下面这样

; generated by /sbin/dhclient-script

search localdomain

nameserver 192.168.199.2

vi /etc/sysconfig/network

这里要类似下面这样

NETWORKING=yes

HOSTNAME=cdhmanager1

GATEWAY=192.168.199.2

根据文档安装几个软件包

yum install openssh-server  也可以yum install openssh

yum install openssh-clients  但这个一定要运行，否则ssh不行

yum install lrzsz  用xshell收发pc端文件用

yum install unzip

关闭防火墙

临时关闭

service iptables status 状态

service iptables stop  关闭

永久关闭

chkconfig  iptables off

关闭selinux

vi /etc/sysconfig/selinux

的SELINUX=enforcing这个关闭

SELINUX=disabled

adduser -m hadoop

passwd hadoop

ssh登录是根据用户来进行通信的，用hadoop

ssh生成秘钥对 ssh-keygen

ssh-copy-id djtNode1

在djtNode1机器上

scp authorized_keys djtNode2:~/.ssh

scp authorized_keys djtNode3:~/.ssh

scp authorized_keys djtNode4:~/.ssh

scp authorized_keys djtNode5:~/.ssh

检查

ssh djtNode2

ssh djtNode3

ssh djtNode4

ssh djtNode5

另外相应重要工作后要进行快照，以便出现问题后进行恢复

jdk版本选择  64位，版本号一致，特别是win平台与虚拟的linux

目录规划与分发

用拖拉形式吧java上传到服务器上 

建立lib mv到这里

tar -zxvf java包

 安装在家的lib目录里

环境变量  软件作用的范围问题，全局 hadoop

目前安装在.bash_profile

vi .bash_profile  在用户的家目录里

export JAVA_HOME=/home/hadoop/lib/jdk1.7.0_79

export CLASSPATH=.:$JAVA_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin      

source .bash_profile

执行上面后出现问题 bash: /home/hadoop: is a directory  还是因为里面可能编辑了非法字符等问题

应该还是编辑的问题，重新搞过后就可以了。

分发问题 ：改什么 就分发什么 加载什么

lib jdk  环境变量 .bash_profile

分发的选择  scp或脚本  问题：权限

主机hosts  ssh  才能分发

-rw-rw-r-- 1 hadoop hadoop 351 Mar 20 19:18 deploy.conf   配置文件

-rw-rw-r-- 1 hadoop hadoop 842 Nov 25 10:54 deploy.sh  分发脚本

-rw-rw-r-- 1 hadoop hadoop 640 Nov 25 10:54 runRemoteCmd.sh 远程执行脚本

环境变量配置source .bash_profile

变成可以执行脚本，绿色了

chmod 764  deploy.sh

chmod 764  runRemoteCmd.sh 

deploy.sh jdk1.7.0_79/ /home/hadoop/lib slave

deploy.sh .bash_profile ~ slave

source .bash_profile

java -version 测试一下

安装软件/环境想到

1、安装解压

2、环境变量

3、软件的配置

4、分发

5、你配置中的目录dataDir和dataLogDir

hadoop

配置 规划与建立目录

修改分发好

启动

hdfs成功

INFO common.Storage: Storage directory /home/hadoop/data/name has been successfully formatted.

INFO common.Storage: Storage directory /home/hadoop/data/hdfs/edits has been successfully formatted.

zk 成功INFO ha.ActiveStandbyElector: Successfully created /hadoop-ha/mycluster in ZK.

主节点启动NameNode

备节点启动NameNode

INFO common.Storage: Storage directory /home/hadoop/data/name has been successfully formatted.

INFO common.Storage: Storage directory /home/hadoop/data/hdfs/edits has been successfully formatted.

主节点 ctrl+C 关闭就可以了

start-dfs.sh

*******************djtNode1***************************

2974 DFSZKFailoverController

2703 NameNode

1834 QuorumPeerMain

3061 Jps

*******************djtNode2***************************

1957 DFSZKFailoverController

1806 NameNode

2051 Jps

1376 QuorumPeerMain

1861 DataNode

*******************djtNode3***************************

1358 QuorumPeerMain

1892 JournalNode

1825 DataNode

1978 Jps

*******************djtNode4***************************

1745 Jps

1593 DataNode

1660 JournalNode

*******************djtNode5***************************

1657 JournalNode

1590 DataNode

1742 Jps

看web界面 主机http://192.168.2.230:50082

集群启动要注意顺序，不能强制关机

不知道为什么，每次用root进去后切换到hadoop都不能运行程序，好像环境变量不起作用

都需要source ~/.bash_profile

关闭次序

1、djtNode2 resourcemanager

yarn-daemon.sh stop resourcemanager

2、stop-yarn.sh

3、stop-dfs.sh

4、zk

runRemoteCmd.sh 'zkServer.sh stop' zk

启动刚好反过来

runRemoteCmd.sh jps all

启动hadoop过程

都是再djtNode1上操作（除另外说明外）

1、最好以hadoop用户登录，否则用root登录后需要切换到hadoop与cd 到家目录下

同时要source ~/.bash_profile

2、 runRemoteCmd.sh 'zkServer.sh start' zk

3、runRemoteCmd.sh jps zk

4、start-dfs.sh

5、start-yarn.sh

6、在djtNode2上运行yarn-daemon.sh start resourcemanager

7、./bin/yarn rmadmin -getServiceState rm1  检查yarn状态

./bin/yarn rmadmin -getServiceState rm2

[hadoop@djtNode1 ~]$ runRemoteCmd.sh jps all

*******************djtNode1***************************

1583 DFSZKFailoverController

2035 Jps

1148 QuorumPeerMain

1752 ResourceManager

1335 NameNode

*******************djtNode2***************************

1341 DFSZKFailoverController

1647 Jps

1207 NameNode

1504 NodeManager

1265 DataNode

1107 QuorumPeerMain

*******************djtNode3***************************

1582 Jps

1200 DataNode

1399 NodeManager

1106 QuorumPeerMain

1256 JournalNode

*******************djtNode4***************************

1185 JournalNode

1460 Jps

1325 NodeManager

1129 DataNode

*******************djtNode5***************************

1185 JournalNode

1129 DataNode

1327 NodeManager

1465 Jps