hadoop笔记——YARN部署

1. resource manager在实现高可用的时候，需要自己争抢锁
2. node manager集成了shuffle服务，因为同一个节点可以有很多MapReduce任务
3. yarn ha也有有两个，active和standby
4. 逻辑到物理的映射：yarn.resourcemanager.ha.re_ids为rm1和rm2，然后yarn.resourcemanager.hostname.rm1为master1

整体步骤：

1. node01为管理节点，所以配置信息在node01写，然后分发

2. cpmapred-site.xml.templatemapred-site.xml

3. vimapred-site.xml，写入

   mapreduce.framework.name

   yarn

vi yarn-site.xml，写入

yarn.nodemanager.aux-services mapreduce\_shuffle yarn.resourcemanager.ha.enabled true yarn.resourcemanager.cluster-id cluster1 yarn.resourcemanager.ha.rm-ids rm1,rm2 yarn.resourcemanager.hostname.rm1 node03 yarn.resourcemanager.hostname.rm2 node04 yarn.resourcemanager.zk-address node02:2181,node03:2181,node04:2181

然后

scp mapred-site.xml yarn-site.xml node02:`pwd`

scp mapred-site.xml yarn-site.xml node03:`pwd`

scp mapred-site.xml yarn-site.xml node04:`pwd`

在管理节点node01启动：start-yarn.sh

在node03和node04：yarn-daemon.sh start resourcemanager

至此http://node03:8088和http://node04:8088可以成功启动就ok了

停止：stop-yarn.sh

在node03和node04：yarn-daemon.sh stop resourcemanager