码农知识堂 - 1000bd
  •   Python
  •   PHP
  •   JS/TS
  •   JAVA
  •   C/C++
  •   C#
  •   GO
  •   Kotlin
  •   Swift
  • HDFS的Shell操作


    文章目录

    • 一、HDFS的Shell介绍
    • 二、了解HDFS常用Shell命令
      • (一)三种Shell命令方式
      • (二)FileSystem Shell文档
      • (三)常用HDFS的Shell命令
    • 三、HDFS常用命令操作实战
      • (一)创建目录

    一、HDFS的Shell介绍

    在这里插入图片描述

    二、了解HDFS常用Shell命令

    (一)三种Shell命令方式

    在这里插入图片描述

    (二)FileSystem Shell文档

    在这里插入图片描述

    (三)常用HDFS的Shell命令

    序号命令功能
    1hdfs dfs -ls 显示指定的文件或目录的详细信息。
    2hdfs dfs -ls -R ls命令的递归版本。
    3hdfs dfs -cat 将指定文件的内容输出到标准输出。
    4hdfs dfs chgrp [-R] group 将指定文件所属的组改为group,使用-R对指定目录内的文件进行递归操作。这个命令只适合于超级用户。
    5hdfs dfs -chown [-R] [owner][:[group]] 改变指定文件或目录的拥有者,-R用于递归改变目录内的文件或目录的拥有者。 这个命令只适合于超级用户。
    6hdfs dfs -chmod [-R] 将指定文件或目录的权限更改为。这个命令只适合于超级用户和文件或目录的拥有者。
    7hdfs dfs -tail [-f] 将指定文件最后1KB的内容输出到标准输出上,-f选项用于持续检测新添加到文件中的内容。
    8hdfs dfs -stat [format] 以指定格式返回指定文件的相关信息。当不指定format的时候,返回文件的创建日期。
    9hdfs dfs -touchz 创建一个指定的空文件。
    10hdfs dfs -mkdir [-p] 创建指定的一个或多个目录,-p选项用于递归创建子目录。
    11hdfs dfs -copyFromLocal 将本地源文件复制到路径指定的文件或目录中。
    12hadoo fs -copyToLocal [-ignorcrc] [-crc] 将目标文件复制到本地文件或目录中,可用-ignorecrc选项复制CRC校验失败的文件,使用-crc选项复制文件以及CRC信息。
    13hdfs dfs -cp 将文件从源路径复制到目标路径。
    14hdfs dfs -du 显示指定文件或目录内所有文件的大小。
    15hdfs dfs -expunge清空回收站。
    16hdfs dfs -get [-ignorcrc] [-crc] 复制指定的文件到本地文件系统指定的文件或目录内,可用-ignorecrc选项复制CRC校验失败的文件,使用-crc选项复制文件以及CRC信息。
    17hdfs dfs -getmerge [-nl] 对指定目录内所有文件进行合并,写入指定的本地文件。-nl是可选的,用于指定在每个文件结尾添加一个换行符。
    18hdfs dfs -put 从本地文件系统中复制指定的单个或多个源文件到指定的目标文件系统中。
    19hdfs dfs moveFromLocal 与put命令功能相同,但是文件上传结束后会从本地文件系统中删除指定的文件。
    20hdfs dfs -mv 将文件或目录从源路径移到目标路径。
    21hdfs dfs -rm 删除指定的文件或目录(非空目录)。
    22hdfs dfs -rm -r 删除指定的目录及其下的所有文件,-r选项表示递归删除子目录。
    23hdfs dfs -setrep [-R] 改变指定文件的副本数,-R选项用于递归改变目录下所有文件的副本数。
    24hdfs dfs -test [-ezd] 检查指定文件或目录的相关信息。
    -e (exist)检查文件是否存在,如果存在则返回0,否则返回1
    -z (zero)检查文件是否是零字节,如果是则返回0,否则返回1
    -d(directory)检查路径是否是目录,如果是则返回0,否则返回1
    25hdfs dfs -text 指定的文件输出为文本格式,文件格式允许是zip和TextRecordInputStream。

    三、HDFS常用命令操作实战

    (一)创建目录

    在这里插入图片描述

  • 相关阅读:
    Idea热部署插件(JRebel for IntelliJ)激活(适用于内网、外网激活)
    MySQL 8.0 OCP认证精讲视频、环境和题库之四 多实例启动 缓存、事务、脏读
    DBC2000数据库,DBC2000怎么设置?DBC2000架设传奇教程
    C/C++轻量级并发TCP服务器框架Zinx-游戏服务器开发003:架构搭建-需求分析及TCP通信方式的实现
    系统编程 day08 信号函数(信号量的使用方法,申请信号量初始化信号量 销毁信号的函数 (signal 信号捕捉函数)
    Eigen C++之Eigen库基本使用(下)
    第十六章 反射与注解
    数据治理-元数据扫描
    PAT 2024年春季(乙级)
    一个复制也能玩出花来
  • 原文地址:https://blog.csdn.net/howard2005/article/details/134526976
  • 最新文章
  • 攻防演习之三天拿下官网站群
    数据安全治理学习——前期安全规划和安全管理体系建设
    企业安全 | 企业内一次钓鱼演练准备过程
    内网渗透测试 | Kerberos协议及其部分攻击手法
    0day的产生 | 不懂代码的"代码审计"
    安装scrcpy-client模块av模块异常,环境问题解决方案
    leetcode hot100【LeetCode 279. 完全平方数】java实现
    OpenWrt下安装Mosquitto
    AnatoMask论文汇总
    【AI日记】24.11.01 LangChain、openai api和github copilot
  • 热门文章
  • 十款代码表白小特效 一个比一个浪漫 赶紧收藏起来吧!!!
    奉劝各位学弟学妹们,该打造你的技术影响力了!
    五年了,我在 CSDN 的两个一百万。
    Java俄罗斯方块,老程序员花了一个周末,连接中学年代!
    面试官都震惊,你这网络基础可以啊!
    你真的会用百度吗?我不信 — 那些不为人知的搜索引擎语法
    心情不好的时候,用 Python 画棵樱花树送给自己吧
    通宵一晚做出来的一款类似CS的第一人称射击游戏Demo!原来做游戏也不是很难,连憨憨学妹都学会了!
    13 万字 C 语言从入门到精通保姆级教程2021 年版
    10行代码集2000张美女图,Python爬虫120例,再上征途
Copyright © 2022 侵权请联系2656653265@qq.com    京ICP备2022015340号-1
正则表达式工具 cron表达式工具 密码生成工具

京公网安备 11010502049817号