【实战】Hadoop安装01-伪分布式-Pseudo

Hadoop安装-伪分布式-Pseudo

〇、所需资料

一、前置环境安装

1、包含内容

(1)安装

虚拟机安装、系统安装

(2)配置

ip、host、主机名配置

关闭防火墙及selinux

SSH免密登录

(2)基础环境安装

安装jdk

安装ntpd开启时钟同步

2、参考地址

https://www.cnblogs.com/liujinhui/p/16838546.html

二、Hadoop安装配置

1、解压与环境变量配置

(1)目录介绍

sbin目录：服务的启动脚本

bin目录：功能模块下的一些命令

lib：所需jar包

(2)环境变量配置

vi /etc/profile

增加：hadoop的bin和sbin目录

source /etc/profile使配置文件生效

2、hadoop-env.sh：配置jdk

export JAVA_HOME=/usr/java/default

3、core-site.xml：配置NN

<configuration>
    <property>
        <name>fs.defaultFSname>
        <value>hdfs://hadoop01:9000value>
    property>
		<property>
				<name>hadoop.tmp.dirname>
				<value>/usr/local/data/hadoopvalue>
		property>
configuration>

4、hdfs-site.xml：配置SNN和DN

<configuration>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
		<property>
		    <name>dfs.namenode.name.dirname>
		    <value>/usr/local/data/hadoop/dfs/namevalue>
		property>
		<property>
		    <name>dfs.datanode.data.dirname>
		    <value>/usr/local/data/hadoop/dfs/datavalue>
		property>
    <property>
        <name>dfs.replicationname>
        <value>1value>
    property>
		<property>
		      <name>dfs.namenode.secondary.http-addressname>
		      <value>hadoop01:50090value>
		property>
		<property>
		      <name>dfs.namenode.checkpoint.dirname>
		      <value>/var/bigdata/hadoop/local/dfs/secondaryvalue>
		property>
configuration>

5、slaves：配置DN节点位置

hadoop01

三、启动及验证

1、格式化NN

bin/hdfs namenode -format

2、验证NN对应位置

/usr/local/data/hadoop/dfs/name/xxx

3、HDFS启动与验证

sbin/start-dfs.sh

4、页面及生成文件验证

(1)页面验证

修改Windows的地址：C:\Windows\System32/drivers\etc\hosts

增加ip和主机的映射关系

192.168.40.101 hadoop01

四、使用

1、命令介绍

hdfs dfs【得到支持的命令】

2、创建目录

创建目录：hdfs dfs -mkdir abc(操作的是NN的元数据)

通常会创建：hdfs dfs -mkdir -p /usr/root 【点右上角的go!进行刷新】【对比linux家目录home，此处为user】【-p表示递归创建】

3、上传文件

上传数据：hdfs dfs -put a.txt /usr/root【点go刷新】

上传过程显示：COPYING

4、查看DN文件所在位置

/usr/local/data/hadoop/dfs/data/xxx

5、上传时附加配置

按字节切割：block.size【hdfs-site.xml】

上传时，指定块大小1m，验证如何切割

hdfs dfs -D dfs.blocksize=1024*1024(1048576=1m) -put data.txt