• Hadoop伪分布式搭建


    搭建环境:

    centos6.5

    vm16

    jdk1.8

    hadoop 2.6.5

    1.先设置静态ip

    vi /etc/sysconfig/network-scripts/ifcfg-eth0
    DEVICE=eth0
    #HWADDR=00:0C:29:42:15:C2
    TYPE=Ethernet
    ONBOOT=yes
    NM_CONTROLLED=yes
    BOOTPROTO=static
    IPADDR=192.168.90.11
    NETMASK=255.255.255.0
    GATEWAY=192.168.90.2
    DNS1=223.5.5.5
    DNS2=114.114.114.114

    重启服务:service network restart

    关闭防火墙:service iptables stop

    开机自动关闭防火墙:chkconfig iptables off

    为了方便操作,使用xshell连接centos,因为centos里面直接就给我们安装了ssh,所以我们便不需要安装了

    2.设置本机中ip与主机名的映射

    vi /etc/hosts

    192.168.90.111 node01
    192.168.90.112 node02
    192.168.90.113 node03
    192.168.90.114 node04

    3.为了方便后面搭建集群,我们现在就把其他机器给弄出来

    直接将第一台node01给另外克隆出3台来

    (1).克隆完成

    (2).修改主机名

    vi /etc/sysconfig/network 把HostName改成自己的主机名

    (3).设置静态ip

    参照1

    (4)重启服务后会报如图所示错误

    解决办法:rm -rf /etc/udev/rules.d/70-persistent-net.rules

    reboot,重启后再service network restart即可

    4.安装jdk1.8

    rpm -i jdk-8u181-linux-x64.rpm
    *有一些软件只认:/usr/java/default
    vi /etc/profile
    export JAVA_HOME=/usr/java/default
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin
    source /etc/profile

    5.设置免密登录自己

    ssh localhost 1,验证自己还没免密 2,被动生成了 /root/.ssh
    ssh-keygen -t dsa -P ‘’ -f ~/.ssh/id_dsa
    cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

    验证:ssh localhost发现不用密码登录了

    6.搭建haddop

    mkdir /opt/poke

    mkdir /opt/poke/bigdata
    tar xf hadoop-2.6.5.tar.gz
    mv hadoop-2.6.5 /opt/poke/bigdata/

    vi /etc/profile
    export JAVA_HOME=/usr/java/default
    export HADOOP_HOME=/opt/poke/bigdata/hadoop-2.6.5
    export PATH= P A T H : PATH: PATH:JAVA_HOME/bin: H A D O O P _ H O M E / b i n : HADOOP\_HOME/bin: HADOOP_HOME/bin:HADOOP_HOME/sbin
    source /etc/profile

    设置hadoop配置

    1.因为ssh到了另一台机器的时候,我们不能得到系统的环境变量,比如$JAVA_HOME

    所以我们需要再hadoop里面自己配置

    vi hadoop-env.sh
    export JAVA_HOME=/usr/java/default

    2.配置NameNode在那台机器运行

    vi core-site.xml

    fs.defaultFS
    hdfs://node01:9000

    3.配置hdfs 副本数为1.。。。
    vi hdfs-site.xml

    dfs.replication
    1

    #namenode的dir

    dfs.namenode.name.dir
    /var/bigdata/hadoop/local/dfs/name

    #datanode的dir

    dfs.datanode.data.dir
    /var/bigdata/hadoop/local/dfs/data

    #secondary的ip地址

    dfs.namenode.secondary.http-address
    node01:50090

    #secondary的dir

    dfs.namenode.checkpoint.dir
    /var/bigdata/hadoop/local/dfs/secondary

    4.配置DN这个角色再那里启动
    vi slaves
    node01

    7.初始化启动hadoop

    hdfs namenode -format
    创建目录
    并初始化一个空的fsimage

    start-dfs.sh
    第一次:datanode和secondary角色会初始化创建自己的数据目录

    8.访问node01:50070验证结果

    如果没有在主机映射的话,可以在windows: C:WindowsSystem32driversetchosts
    192.168.90.111 node01
    192.168.90.112node02
    192.168.90.113 node03
    192.168.90.114 node04

    进行映射

    测试:

    创建opt目录:hdfs dfs -mkdir /opt

    创建根目录:hdfs dfs -mkdir -p /user/root

  • 相关阅读:
    Redis-持久化机制
    Swift 面试题及答案整理,最新面试题
    【单链表基本操作的实现】
    阿里开源中间件一览
    JNDI注入分析
    Step 3.2:垃圾收集器与内存分配策略
    【AIGC核心技术剖析】扩大富有表现力的人体姿势和形状估计SMPLer-X模型
    C语言课程设计
    供应链 | 在线平台的研究与思考(一):销售渠道与模式选择
    2406. 将区间分为最少组数-差分数组
  • 原文地址:https://blog.csdn.net/m0_54849806/article/details/126665555