• hadoop 大数据集群环境配置 配置hadoop配置文件 hadoop(七)


    1. 虚拟机的三台机器分别以hdfs 存储, mapreduce计算yarn调度三个方面进行集群配置

        hadoop 版本3.3.4

       官网:Hadoop – Apache Hadoop 3.3.6

        jdk 1.8

        三台机器尾号为:22, 23, 24。(没有用hadoop102, 103,104,我改为了hadoop22,hadoop23,hadoop24)

     2. 配置22机器core-site.xml

            cd $HADOOP_HOME/etc/hadoop

            vi core-site.xml

    1. fs.defaultFS
    2. hdfs://hadoop22:8020
    3. hadoop.tmp.dir
    4. /opt/module/hadoop-3.3.4/data
    5. hadoop.http.staticuser.user
    6. atguigu

    3. 配置22机器得hdfs-site.xml

    1. <configuration>
    2. <!-- nn web端访问地址-->
    3. <property>
    4. <name>dfs.namenode.http-address</name>
    5. <value>hadoop22:9870</value>
    6. </property>
    7. <!-- 2nn web端访问地址-->
    8. <property>
    9. <name>dfs.namenode.secondary.http-address</name>
    10. <value>hadoop24:9868</value>
    11. </property>
    12. </configuration>

    4. 配置22机器的yarn-site.xml

    1. yarn.nodemanager.aux-services
    2. mapreduce_shuffle
    3. yarn.resourcemanager.hostname
    4. hadoop23
    5. yarn.nodemanager.env-whitelist
    6. JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME

    5.配置22机器的mapred-site.xml

    1. mapreduce.framework.name
    2. yarn

    6. 配置22机器workers文件:

    1. hadoop22
    2. hadoop23
    3. hadoop24

    注意:该文件中添加的内容结尾不允许有空格,文件中不允许有空行。

    7.脚本发送到23,24机器:

      xsync /opt/module/hadoop-3.3.4/etc/hadoop

    8. 分别去23,24机器检查下是否发送成功。上述修改的文件是否是修改过的数据:

     9. 如果集群是第一次启动,需要在hadoop102节点格式化NameNode(注意:格式化NameNode会产生新的集群id导致NameNode和DataNode的集群id不一致,集群不到已数据。如果集群在运行过程中报错,需要重新格式化NameNode的话,一定要停止namenode和datanode进程,并且要删除所有机器的datalogs目录,然后再进行格式化。

        生成机器id:

    hdfs namenode -format

    10. 启动hdfs

    1. # 例如我的路径/opt/module/hadoop-3.3.4/etc/hadoop
    2. # 在hadoop文件下,前面你自己的路径/etc/hadoop/
    3. # 输入命令
    4. sbin/start-dfs.sh

    11. 在配置了ResourceManager的节点(hadoop23启动YARN

    sbin/start-yarn.sh

     12. 如果启动失败,我是三台机器都删除了data,logs数据。重新从9步,重新生成机器id数据

    比对配置文件是否错误,再次重新启动。即可解决~!

  • 相关阅读:
    【网络编程】网络基础
    MySQL备份与恢复
    函数柯里化
    【内网渗透】vulnhub三个基础靶场wp
    yjs demo: 多人在线协作画板
    PTA古风排版
    【Java】可变参数
    因子模型:协方差矩阵
    Vue.js安装步骤和注意事项
    用度量思维,呈现工作成果
  • 原文地址:https://blog.csdn.net/qq_33919114/article/details/134397048