Hadoop安装-伪分布式-Pseudo
〇、所需资料
一、前置环境安装
1、包含内容
(1)安装
虚拟机安装、系统安装
(2)配置
ip、host、主机名配置
关闭防火墙及selinux
SSH免密登录
(2)基础环境安装
安装jdk
安装ntpd开启时钟同步
2、参考地址
https://www.cnblogs.com/liujinhui/p/16838546.html
二、Hadoop安装配置
1、解压与环境变量配置
(1)目录介绍
sbin目录：服务的启动脚本
bin目录：功能模块下的一些命令
lib：所需jar包
(2)环境变量配置
vi /etc/profile
增加：hadoop的bin和sbin目录
source /etc/profile使配置文件生效
2、hadoop-env.sh：配置jdk
export JAVA_HOME=/usr/java/default
3、core-site.xml：配置NN
- <configuration>
- <property>
- <name>fs.defaultFSname>
- <value>hdfs://hadoop01:9000value>
- property>
- <property>
- <name>hadoop.tmp.dirname>
- <value>/usr/local/data/hadoopvalue>
- property>
- configuration>
4、hdfs-site.xml：配置SNN和DN
- <configuration>
- <property>
- <name>dfs.replicationname>
- <value>1value>
- property>
- <property>
- <name>dfs.namenode.name.dirname>
- <value>/usr/local/data/hadoop/dfs/namevalue>
- property>
- <property>
- <name>dfs.datanode.data.dirname>
- <value>/usr/local/data/hadoop/dfs/datavalue>
- property>
- <property>
- <name>dfs.replicationname>
- <value>1value>
- property>
- <property>
- <name>dfs.namenode.secondary.http-addressname>
- <value>hadoop01:50090value>
- property>
- <property>
- <name>dfs.namenode.checkpoint.dirname>
- <value>/var/bigdata/hadoop/local/dfs/secondaryvalue>
- property>
- configuration>
5、slaves：配置DN节点位置
hadoop01三、启动及验证
1、格式化NN
bin/hdfs namenode -format
2、验证NN对应位置
/usr/local/data/hadoop/dfs/name/xxx
3、HDFS启动与验证
sbin/start-dfs.sh
4、页面及生成文件验证
(1)页面验证
修改Windows的地址：C:\Windows\System32/drivers\etc\hosts
增加ip和主机的映射关系
192.168.40.101 hadoop01
四、使用
1、命令介绍
hdfs dfs【得到支持的命令】
2、创建目录
创建目录：hdfs dfs -mkdir abc(操作的是NN的元数据)
通常会创建：hdfs dfs -mkdir -p /usr/root 【点右上角的go!进行刷新】【对比linux家目录home，此处为user】【-p表示递归创建】
3、上传文件
上传数据：hdfs dfs -put a.txt /usr/root【点go刷新】
上传过程显示：COPYING
4、查看DN文件所在位置
/usr/local/data/hadoop/dfs/data/xxx
5、上传时附加配置
按字节切割：block.size【hdfs-site.xml】
上传时，指定块大小1m，验证如何切割
hdfs dfs -D dfs.blocksize=1024*1024(1048576=1m) -put data.txt