-
【大数据开发技术】实验02-Hadoop常用命令
HDFS常用shell命令
一、实验目标
- 掌握hadoop操作指令及HDFS命令行接口
- 掌握HDFS原理
二、实验要求
- 给出每个实验操作步骤成功的效果截图，。
- 对本次实验工作进行全面的总结。
- 完成实验内容后，实验报告文件重命名为：学号姓名实验二。
三、实验内容
1.列出某个目录下的文件
2.递归列出某目录及文件
3.创建目录，目录名自拟，查看创建的目录及文件
4.创建级联目录，递归查看
5.在本地新建一个文件，文件名和文件内容自拟，然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS
6.分别使用命令-get和-copyToLoca从HDFS上传下载某个文件，
7.删除HDFS上某个文件
8.递归删除某个文件夹下所有文件和目录
9.查看HDFS上某个文件内容
10.统计HDFS上某个文件的大小四、实验步骤
- 列出某个目录下的文件
hadoop fs -ls /- 1
- 递归列出某目录及文件
hadoop fs -ls -R /- 1
- 创建目录，目录名自拟，查看创建的目录及文件
hadoop fs -mkdir /wjw- 1
- 创建级联目录，递归查看
hadoop fs -mkdir -p /wjw01/wjw02- 1
- 在本地新建一个文件，文件名和文件内容自拟，然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS
hadoop fs -put test01 / hadoop fs -copyFromLocal test02 /- 1
- 2
- 分别使用命令-get和-copyToLoca从HDFS上传下载某个文件，
hadoop fs -get /test01 /home/zkpk hadoop fs -copyToLocal /test02/home/zkpk- 1
- 2
- 删除HDFS上某个文件
hadoop fs -rm /wjw.txt- 1
- 递归删除某个文件夹下所有文件和目录
hadoop fs -rmr /wjw01/wjw02- 1
- 查看HDFS上某个文件内容
hadoop fs -cat wjw.txt- 1
- 统计HDFS上某个文件的大小
hadoop fs -du wjw.txt- 1
附：系列文章
实验 文章目录 直达链接 实验01 Hadoop安装部署 https://want595.blog.csdn.net/article/details/132767284 实验02 HDFS常用shell命令 https://want595.blog.csdn.net/article/details/132863345 实验03 Hadoop读取文件 https://want595.blog.csdn.net/article/details/132912077 实验04 HDFS文件创建与写入 https://want595.blog.csdn.net/article/details/133168180 实验05 HDFS目录与文件的创建删除与查询操作 https://want595.blog.csdn.net/article/details/133168734 实验06 SequenceFile、元数据操作与MapReduce单词计数 https://want595.blog.csdn.net/article/details/133926246 实验07 MapReduce编程：数据过滤保存、UID 去重 https://want595.blog.csdn.net/article/details/133947981 实验08 MapReduce 编程：检索特定群体搜索记录和定义分片操作 https://want595.blog.csdn.net/article/details/133948849 实验09 MapReduce 编程：join操作和聚合操作 https://want595.blog.csdn.net/article/details/133949148 实验10 MapReduce编程：自定义分区和自定义计数器 https://want595.blog.csdn.net/article/details/133949522 -
相关阅读:
TypeScript精华精讲（接口与泛函）
带有ttl的Lru在Rust中的实现及源码解析
Leetcode2460：对数组执行操作
【JavaScript】过了一年，懒癌患者终于整理了一下『手写Promise A+』
(C++)把字符串转换成整数
西电系统分析与设计期末复习笔记
创建node、vue、以及@vuecli 和 vue-cli 的区别
一、PostgreSQL软件安装
第三章 队列
Ruby语言：打造高性能Web应用程序
- 原文地址：https://blog.csdn.net/m0_68111267/article/details/132863345