• Haddop集群的简单搭建


    ps:本人初学者,如有错误请多指教,博客里这些内容基本都是自学,请看到本文的大神多多指教。

    本人是在虚拟机上用centos 7 和Jdk 1.8 ,hadoop 2.7实验的(之前还想在Ubantu上实验,不过Xssh没有安装成功就暂时放弃了)

    先说一下遇到的问题 首先是与宿主机互相ping 不上,后来总结有几个原因,(1)网卡没配置

    (2)虚拟机连接方式不对(本人用的Net,桥接不好使。其他没试估计host-only会好使)

    (3)防火墙没关(这项一定要检查,我就因为这个耗费了好多时间)

    有时用Hadoop命令会提示 not found 有两个原因(1):PATH配置错误这个需要仔细检查

    (2):修改完profile没有执行source,配置没有生效

    搭建时我就遇到这些问题,如果你有其他问题可以拿出来大家一起研究。

    步骤:1.安装虚拟机

    2.设置IP

    vi /etc/sysconfig/network 在其中输入NETWORKING=yes

    GATWAY=(网关)

    vi /etc/sysconfig/network-sripts/ifcfg-e…(我用了几个版本发现网卡名似乎都不太一样,不过前缀差不多)

    我是直接全部删除然后添加,你可以修改或添加

    TYPE=Ethernet

    IPADDR=(网址)

    NETMASK=(子网掩码)

    3.重启网络

    service network restart

    4.检查ssh服务状态

    systemctl status sshd

    5.与宿主机相互ping

    不通:检查下防火墙关没关,和配置出没出错,还有链接方式。ping的是虚拟机在宿主机上的虚拟网卡的IP。

    关闭防火墙:systemctl stop firewalld(禁用防火墙)

    system disable firewalld.service(在开机时禁用)

    6.用Xshell链接虚拟机,将Hadoop和Jdk上传到Linux

    7.安装Jdk

    rpm -ivh ./xxx.jdk

    输入java -version验证安装是否成功

    8.安装Hadoop

    tar -zxvf ./xxx.tar.gz(如果觉得解压后文件夹名字长可以改成简单的,我改成了hadoop)

    9.修改hadoop-env.sh

    vi …/hadoop/etc/hadoop/hadoop-env.sh (…/为hadoop存放路径)

    修改其中JAVA_HOME使其可以找到jdk

    找到JAVA_HOME 将其修改为 export JAVA_HOME=…/java/default

    10.将bin和sbin路径放到PATH中

    vi /etc/profile

    在文件末尾追加

    export PATH=$PATH:/…/hadoop/bin:/…/hadoop/sbin

    存盘退出后执行 source etc/profile (不执行会发生not found 错误)

    11.任意目录下敲hadoop看执行

    是否成功

    按这个方法多设置几台Linux互相Ping

    12.给集群各个机器命名

    vi /etc/hosts

    在编辑器里输入

    网址 + 主机名

    13.修改hadoop下 core-site.xml

    在其中添加

    (属性)

    fs.defaultFS

    hdfs://namenode主机名或地址:9000 (默认的namenode机器名和端口)

    14.在namenode机器输入

    hdfs namenode -format(格式化namenode)

    15.启动namenode

    hadoop-daemon.sh start namenode

    16.启动datanode

    hadoop-daemon.sh start datanode

    结束

    ps:此文为本人观看马士兵老师视频结合自己想法所总结的,如有错误请多指教。

  • 相关阅读:
    【迁移学习】分布差异的度量以及迁移学习的统一表征方法
    history 模式上线需要注意什么事项?
    AI大模型探索之路-实战篇15: Agent智能数据分析平台之整合封装Tools和Memory功能代码
    《SpringBoot篇》10.JPQL超详细介绍与JPA命名规则
    揭开MyBatis的神秘面纱:掌握动态代理在底层实现中的精髓
    人工神经网络与卷积神经网络区别与联系
    OpenJudge NOI题库 1.2 编程基础之变量定义、赋值及转换
    灯塔批量添加指纹信息
    vscode调教配置:快捷修复和格式化代码
    Springboot接入ChatGPT
  • 原文地址:https://blog.csdn.net/m0_67392273/article/details/126717261