-
【大数据开发技术】实验02-Hadoop常用命令
HDFS常用shell命令
一、实验目标
- 掌握hadoop操作指令及HDFS命令行接口
- 掌握HDFS原理
二、实验要求
- 给出每个实验操作步骤成功的效果截图，。
- 对本次实验工作进行全面的总结。
- 完成实验内容后，实验报告文件重命名为：学号姓名实验二。
三、实验内容
1.列出某个目录下的文件
2.递归列出某目录及文件
3.创建目录，目录名自拟，查看创建的目录及文件
4.创建级联目录，递归查看
5.在本地新建一个文件，文件名和文件内容自拟，然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS
6.分别使用命令-get和-copyToLoca从HDFS上传下载某个文件，
7.删除HDFS上某个文件
8.递归删除某个文件夹下所有文件和目录
9.查看HDFS上某个文件内容
10.统计HDFS上某个文件的大小四、实验步骤
- 列出某个目录下的文件
hadoop fs -ls /- 1
- 递归列出某目录及文件
hadoop fs -ls -R /- 1
- 创建目录，目录名自拟，查看创建的目录及文件
hadoop fs -mkdir /wjw- 1
- 创建级联目录，递归查看
hadoop fs -mkdir -p /wjw01/wjw02- 1
- 在本地新建一个文件，文件名和文件内容自拟，然后分别使用-put命令和-copyFromLocal 命令将该文件上传到HDFS
hadoop fs -put test01 / hadoop fs -copyFromLocal test02 /- 1
- 2
- 分别使用命令-get和-copyToLoca从HDFS上传下载某个文件，
hadoop fs -get /test01 /home/zkpk hadoop fs -copyToLocal /test02/home/zkpk- 1
- 2
- 删除HDFS上某个文件
hadoop fs -rm /wjw.txt- 1
- 递归删除某个文件夹下所有文件和目录
hadoop fs -rmr /wjw01/wjw02- 1
- 查看HDFS上某个文件内容
hadoop fs -cat wjw.txt- 1
- 统计HDFS上某个文件的大小
hadoop fs -du wjw.txt- 1
附：系列文章
实验 文章目录 直达链接 实验01 Hadoop安装部署 https://want595.blog.csdn.net/article/details/132767284 实验02 HDFS常用shell命令 https://want595.blog.csdn.net/article/details/132863345 实验03 Hadoop读取文件 https://want595.blog.csdn.net/article/details/132912077 实验04 HDFS文件创建与写入 https://want595.blog.csdn.net/article/details/133168180 实验05 HDFS目录与文件的创建删除与查询操作 https://want595.blog.csdn.net/article/details/133168734 实验06 SequenceFile、元数据操作与MapReduce单词计数 https://want595.blog.csdn.net/article/details/133926246 实验07 MapReduce编程：数据过滤保存、UID 去重 https://want595.blog.csdn.net/article/details/133947981 实验08 MapReduce 编程：检索特定群体搜索记录和定义分片操作 https://want595.blog.csdn.net/article/details/133948849 实验09 MapReduce 编程：join操作和聚合操作 https://want595.blog.csdn.net/article/details/133949148 实验10 MapReduce编程：自定义分区和自定义计数器 https://want595.blog.csdn.net/article/details/133949522 -
相关阅读:
与AI对话：探索最佳国内可用的ChatGPT网站
2024.3.11 - DAY05_JAVA高级
Flask初体验
【重识云原生】第六章容器6.1.7.1节——Docker核心技术cgroups综述
猴子也能学会的jQuery第十期——jQuery元素操作
小学生用哪种护眼灯好？2022年无蓝光的护眼灯推荐
剑指 Offer 04. 二维数组中的查找
后端接口性能差，该从哪些方面进行优化？
微前端无界 项目使用记录
c++ sample
- 原文地址：https://blog.csdn.net/m0_68111267/article/details/132863345