• Haddop集群的简单搭建


    ps:本人初学者,如有错误请多指教,博客里这些内容基本都是自学,请看到本文的大神多多指教。

    本人是在虚拟机上用centos 7 和Jdk 1.8 ,hadoop 2.7实验的(之前还想在Ubantu上实验,不过Xssh没有安装成功就暂时放弃了)

    先说一下遇到的问题 首先是与宿主机互相ping 不上,后来总结有几个原因,(1)网卡没配置

    (2)虚拟机连接方式不对(本人用的Net,桥接不好使。其他没试估计host-only会好使)

    (3)防火墙没关(这项一定要检查,我就因为这个耗费了好多时间)

    有时用Hadoop命令会提示 not found 有两个原因(1):PATH配置错误这个需要仔细检查

    (2):修改完profile没有执行source,配置没有生效

    搭建时我就遇到这些问题,如果你有其他问题可以拿出来大家一起研究。

    步骤:1.安装虚拟机

    2.设置IP

    vi /etc/sysconfig/network 在其中输入NETWORKING=yes

    GATWAY=(网关)

    vi /etc/sysconfig/network-sripts/ifcfg-e…(我用了几个版本发现网卡名似乎都不太一样,不过前缀差不多)

    我是直接全部删除然后添加,你可以修改或添加

    TYPE=Ethernet

    IPADDR=(网址)

    NETMASK=(子网掩码)

    3.重启网络

    service network restart

    4.检查ssh服务状态

    systemctl status sshd

    5.与宿主机相互ping

    不通:检查下防火墙关没关,和配置出没出错,还有链接方式。ping的是虚拟机在宿主机上的虚拟网卡的IP。

    关闭防火墙:systemctl stop firewalld(禁用防火墙)

    system disable firewalld.service(在开机时禁用)

    6.用Xshell链接虚拟机,将Hadoop和Jdk上传到Linux

    7.安装Jdk

    rpm -ivh ./xxx.jdk

    输入java -version验证安装是否成功

    8.安装Hadoop

    tar -zxvf ./xxx.tar.gz(如果觉得解压后文件夹名字长可以改成简单的,我改成了hadoop)

    9.修改hadoop-env.sh

    vi …/hadoop/etc/hadoop/hadoop-env.sh (…/为hadoop存放路径)

    修改其中JAVA_HOME使其可以找到jdk

    找到JAVA_HOME 将其修改为 export JAVA_HOME=…/java/default

    10.将bin和sbin路径放到PATH中

    vi /etc/profile

    在文件末尾追加

    export PATH=$PATH:/…/hadoop/bin:/…/hadoop/sbin

    存盘退出后执行 source etc/profile (不执行会发生not found 错误)

    11.任意目录下敲hadoop看执行

    是否成功

    按这个方法多设置几台Linux互相Ping

    12.给集群各个机器命名

    vi /etc/hosts

    在编辑器里输入

    网址 + 主机名

    13.修改hadoop下 core-site.xml

    在其中添加

    (属性)

    fs.defaultFS

    hdfs://namenode主机名或地址:9000 (默认的namenode机器名和端口)

    14.在namenode机器输入

    hdfs namenode -format(格式化namenode)

    15.启动namenode

    hadoop-daemon.sh start namenode

    16.启动datanode

    hadoop-daemon.sh start datanode

    结束

    ps:此文为本人观看马士兵老师视频结合自己想法所总结的,如有错误请多指教。

  • 相关阅读:
    持续集成部署-k8s-深入了解 Pod:Pod 的基础操作
    Java设计模式三—— 策略模式、工厂模式
    探索小程序的世界(专栏导读、基础理论)
    自然语言处理 Paddle NLP - 结构化数据问答-理论
    OpenCV 人脸检测(易上手版)
    黑*头条_第7章_kafka实战应用&文章自动审核
    vue实现echarts中 9种 折线图图例
    擎创技术流 | ClickHouse实用工具—ckman教程(1)部署安装
    智慧城市数字孪生技术方案,建设可视化系统
    LeetCode-146. LRU Cache [C++][Java]
  • 原文地址:https://blog.csdn.net/m0_67392273/article/details/126717261