• Hadoop_HDFS


    面试题:
    在这里插入图片描述
    基本指令:
    -moveFromLocal 将本地文件路径./shuguo.txt剪切到HDFS的/sanguo路径下:

    hadoop fs -moveFromLocal ./shuguo.txt /sanguo
    
    • 1

    -copyFromLocal:从本地系统中拷贝文件到HDFS路径去
    在这里插入图片描述
    -put 等同于copyFromLocal

    -appendToFile 追加一个文件到已经存在的文件末尾

    vim liubei.txt
    #(文本内容是liubei)
    hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt
    
    • 1
    • 2
    • 3

    效果:shuguo.txt文本内容中加了一行liubei
    在这里插入图片描述
    注意
    HDFS特性,只能追加内容到文件里面,而不能修改文件内容。

    -copyToLocal:从HDFS拷贝文件到本地
    在这里插入图片描述

    -get :等同于copyToLocal,生产环境更习惯用get

    HDFS直接指令
    -ls :显示目录信息

    hadoop fs -ls /sanguo
    
    • 1

    -cat :显示文件内容

    hadoop fs -cat /sanguo/shuguo.txt
    
    • 1

    -chgrp 、-chmod 、-chown:Linux文件系统中的用法一样,修改文件所属权限

    hadoop fs -chmod 666 /sanguo/shuguo.txt
    hadoop fs -chown atguigu:atguigu /sanguo/shuguo.txt(将shuguo.txt所在组group改成了atguigu组)
    
    • 1
    • 2

    -mkdir 创建文件夹到HDFS(创建文件路径):

    hadoop fs -mkdir /shuguo
    
    • 1

    -cp :从HDFS的一个路径拷贝到HDFS的另一个路径

    hadoop fs -cp /sanguo/shuguo.txt /jinguo
    
    • 1

    -mv :在HDFS目录中移动文件

    hadoop fs -mv /sanguo/wuguo.txt /jinguo
    
    • 1

    -tail :显示文件末尾1kb的数据

    hadoop fs -tail /jinguo/shuguo.txt
    
    • 1

    -rm :删除文件或文件夹

    hadoop fs -rm /sanguo/shuguo.txt
    
    • 1

    -rm -r :递归删除目录及目录里面的内容

    hadoop fs -rm -r /sanguo
    
    • 1

    -du 统计文件夹的大小信息

    hadoop fs -du -s -h /jinguo
    
    • 1

    列出文件夹的总大小,以及占空间总大小
    例:
    在这里插入图片描述
    文件一共是27kb,因为有三个副本,所以是27*3=81

    hadoop fs -du -h /jinguo :显示文件夹里面各文件大小详情
    在这里插入图片描述

    -setrep :设置HDFS中文件的副本数量

    hadoop fs -setrep 10 /jingup/shuguo.txt
    
    • 1

    目前情况是三台服务器,每台存储了一个副本。
    在这里插入图片描述

  • 相关阅读:
    Selenium自动化测试总结
    如何在Nuxt3.0中使用MongoDB数据库
    不能创建第三个变量,实现两个数的交换
    【pygame学习+实战】第一篇:游戏最小系统
    【QML】警告Name is declared more than once
    Linux安装Redis
    四川翌加:横拍和竖拍抖音短视频哪个更好
    Linux
    人工智能框架实战精讲:Keras项目-英文语料的文本分类实战与调参优化
    IDLE、Anaconda安装与使用
  • 原文地址:https://blog.csdn.net/catcat2003/article/details/126746112