• Hadoop学习总结（使用Java API操作HDFS）

          使用Java API操作HDFS，是在安装和配置Maven、IDEA中配置Maven成功情况下进行的，如果Maven安装和配置不完全将不能进行Java API操作HDFS。

          由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。

          可以使用单元测试法操作HDFS。这里不使用单元测试法。

    一、创建HDFS_CRUD.java文件

    二、初始化客户端对象

          通过 main() 方法调用进行HDFS增、删、改、查

    1. public class HDFS_CRUD {
    2.     public static void main(String[] args) throws IOException {
    3.         // 初始化客户端对象
    4.         //构造一个配置对象，设置一个参数：访问的 HDFS 的 URL
    5.         Configuration conf = new Configuration();
    6.         //这里指定使用的是 HDFS
    7.         conf.set("fs.defaultFS", "hdfs://hadoop00:9000");
    8.         //通过如下的方式进行客户端身份的设置
    9.         System.setProperty("HADOOP_USER_NAME", "root");
    10.         //通过 FileSystem 的静态方法获取文件系统客户端对象
    11.         fs = FileSystem.get(conf);  //抛出异常
    12.         System.out.println("hdfs连接成功");
    13.     }
    14.  
    15. }

    三、本地上传文件到HDFS

    static FileSystem fs = null;

          声明了一个静态的FileSystem对象fs，并将其初始化为null。FileSystem是Java中用于操作Hadoop分布式文件系统(HDFS)的类。通过这个对象，可以执行一些与HDFS相关的操作，如创建文件、删除文件、读取文件等。在这段代码中，fs被声明为静态的，意味着它可以在整个类中被共享和访问。初始值为null，可能是因为在代码的其他部分会对其进行初始化。

          下面对上传功能进行编译

    1. // 完成上传功能
    2.     public static void upload(String path_str,String path_str1) throws IOException {
    3.         //上传文件到HDFS
    4.         //path_str本地文件路径  path_str1是上传到HDFS文件路径
    5.         fs.copyFromLocalFile(new Path(path_str),new Path(path_str1));
    6.         // 关闭资源
    7.         fs.close();
    8.         System.out.println("文件上传成功");
    9.     }
    1. //main()方法中调用
    2.         upload("D:/大数据/word.txt","/input");  //上传

    四、从HDFS下载文件到本地

    1. // 完成下载文件
    2.     public static void downloal(String path_str,String path_str1) throws IOException {
    3.         //从 HDFS 下载文件到本地
    4.         //path_str是HDFS文件路径  path_str1本地文件路径
    5.         fs.copyToLocalFile(new Path(path_str),new Path(path_str1));
    6.         // 关闭资源
    7.         fs.close();
    8.         System.out.println("文件下载成功");
    9.     }
    10. ​
    1. //main()方法中调用
    2.         downloal("/data.txt","D:/大数据/文件");  //下载

    五、创建目录

    1.     // 创建目录
    2.     public static void mkdir(String path_str) throws IOException {
    3.         //path_str所要创建目录路径
    4.         fs.mkdirs(new Path(path_str));
    5.         // 关闭资源
    6.         fs.close();
    7.         System.out.println("创建目录成功");
    8.     }
    1.         //main()方法中调用
    2.         mkdir("/input");  //创建目录

    六、重命名文件或文件夹

    1.     // 重命名文件夹
    2.     public static void rename(String old_name,String new_path) throws IOException {
    3.         //old_name原文件名路径  //new_path新文件名路径
    4.         fs.rename(new Path(old_name),new Path(new_path));
    5.         fs.close();
    6.         System.out.println("重命名文件夹成功");
    7.     }
    1.     //main()方法中调用
    2.     rename("/aa","/aa2");  //重命名文件夹

    七、删除文件

    1.     // 删除文件 ,如果是非空文件夹,参数2必须给值true
    2.     public static void delete(String path_str) throws IOException {
    3.         //ture表示递归删除 可以用来删除目录 rm -rf
    4.         //false表示非递归删除
    5.         fs.delete(new Path(path_str),true);
    6.         // 关闭资源
    7.         fs.close();
    8.         System.out.println("删除文件夹成功");
    9.     }
    1.         //main()方法中调用
    2.         delete("/aa2");  //删除文件

    八、查看文件信息

    1、查看文件信息

    1.     // 查看文件信息
    2.     public static void  listFiles(String path_str) throws IOException {
    3.         //获取迭代器对象
    4.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    5.         //遍历
    6.         while (listFiles.hasNext()){
    7.             LocatedFileStatus fileStatus = listFiles.next();
    8.             //打印当前文件名
    9.             System.out.println(fileStatus.getPath().getName());
    10.             //打印当前文件块大小
    11.             System.out.println(fileStatus.getBlockLocations());
    12.             //打印当前文件权限
    13.             System.out.println(fileStatus.getPermission());
    14.             //打印当前文件内容长度
    15.             System.out.println(fileStatus.getLen());
    16.             //获取该文件块信息(包含长度、数据块、datanode的信息)
    17. //            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
    18. //            for (BlockLocation bl : blockLocations){
    19. //                System.out.println("block-length:" + bl.getLength()+"--"+"block-offset:"+bl.getOffset());
    20. //                String[] hosts = bl.getHosts();
    21. //                for (String host : hosts){
    22. //                    System.out.println(host);
    23. //                }
    24. //            }
    25.         }
    26.         System.out.println("--------分割线---------");
    27.         fs.close();
    28.     }
    1.         //main()方法中调用
    2.         listFiles("/data.txt");  //查看文件信息

    2、统计目录下所有文件(包括子目录)

    1.     // 1、统计目录下所有文件(包括子目录)
    2.     // 1、统计某个路径(由main方法决定哪个路径),下所有的文件数里,例如：输出：该路径下共有 3 个文件
    3.     public static void count(String path_str) throws IOException {
    4.         //获取迭代器对象
    5.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    6.         //遍历
    7.         int count = 0;
    8.         while (listFiles.hasNext()) {
    9.             LocatedFileStatus fileStatus = listFiles.next();
    10.             count++;
    11.         }
    12.         System.out.println("路径：【"+ path_str +"】下,文件数量为"+count);
    13.         fs.close();
    14.     }
    1.         //main()方法中调用
    2.         count("/");  //统计

     3、列出某个路径下所有的文件数里

    1.     // 2、列出某个路径(由main方法决定哪个路径),下所有的文件数里,例如：文件1,文"路径：【"+ path_str +"】下,文件有："+件2,....
    2.     public static void fileList(String path_str) throws IOException {
    3.         //获取迭代器对象
    4.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    5.         String res = "";
    6.         //遍历
    7.         while (listFiles.hasNext()) {
    8.             LocatedFileStatus fileStatus = listFiles.next();
    9.             res += fileStatus.getPath().getName() + ", ";
    10.         }
    11.         if (res.equals("")){
    12.             res = "没有文件";
    13.         }else {
    14.             res = res.substring(0,res.length() - 2);
    15.         }
    16.         System.out.println("路径：【"+ path_str +"】下的文件：" + res);
    17. //        fs.close();
    18.     }
    1.         //main()方法中调用
    2.           fileList("/"); //查看有什么文件
    3.           fileList("/input"); //查看有什么文件

    4、查看所有文件

    1. /*    路径【/】下共有 7 子文件
    2.     文件数量：1,文件列表：data.txt
    3.     目录数量：6,文件列表：a, exp, input, output, test, tmp*/
    4.     public static void list(String path) throws IOException {
    5.         FileStatus[] fileStatuses = fs.listStatus(new Path(path));
    6.         String res = "路径【" + path + "】下共有 " + fileStatuses.length + " 子文件";
    7.         int file_num = 0;
    8.         String file_list = "";
    9.         int dir_num = 0;
    10.         String dir_list = "";
    11.         for (FileStatus fileStatus:fileStatuses){
    12.             if (fileStatus.isFile()){
    13.                 file_num ++;
    14.                 file_list += fileStatus.getPath().getName() + ", ";
    15.             }else {
    16.                 dir_num ++;
    17.                 dir_list += fileStatus.getPath().getName() + ", ";
    18.             }
    19.         }
    20.         if (file_num != 0) res += "\n\t文件数量：" + file_num + ",文件列表：" + file_list.substring(0,file_list.length()-2);
    21.         if (dir_num != 0) res += "\n\t目录数量：" + dir_num + ",文件列表：" + dir_list.substring(0,dir_list.length()-2);
    22.         System.out.println(res);
    23.     }
    1.         //main()方法中调用
    2.         list("/"); //查看所有

    5、判断是文件还是目录

    1.     // 检查路径是目录还是文件
    2.     public static void mulu(String path_str) throws IOException {
    3.         Path path = new Path(path_str);
    4.         // 判断路径是否存在
    5.         if (fs.exists(path)) {
    6.             // 获取指定路径的详细信息
    7.             FileStatus status = fs.getFileStatus(path);
    8.             if (status.isDirectory()) {
    9.                 System.out.println(path + "这是一个目录");
    10.             } else if (status.isFile()) {
    11.                 System.out.println(path + "这是一个文件");
    12.             } else {
    13.                 System.out.println("这是一个未知类型");
    14.             }
    15.         } else {
    16.             System.out.println("路径不存在");
    17.         }
    18.         //关闭资源
    19.         fs.close();
    20.     }
    1.         //main()方法中调用
    2.         mulu("/exp/word.txt"); //检查路径是目录还是文件

    九、源代码

    1. package com.itcast.hdfsdemo;
    2.  
    3. import org.apache.hadoop.conf.Configuration;
    4. import org.apache.hadoop.fs.*;
    5. import org.apache.hadoop.yarn.webapp.hamlet.Hamlet;
    6. import sun.tracing.dtrace.DTraceProviderFactory;
    7.  
    8. import java.io.IOException;
    9. import java.util.Arrays;
    10.  
    11. public class HDFS_CRUD {
    12.  
    13.     static FileSystem fs = null;
    14.  
    15.     // 完成上传功能
    16.     public static void upload(String path_str,String path_str1) throws IOException {
    17.         //上传文件到HDFS
    18.         //path_str本地文件路径  path_str1是上传到HDFS文件路径
    19.         fs.copyFromLocalFile(new Path(path_str),new Path(path_str1));
    20.         // 关闭资源
    21.         fs.close();
    22.         System.out.println("文件上传成功");
    23.     }
    24.  
    25.     // 完成下载文件
    26.     public static void downloal(String path_str,String path_str1) throws IOException {
    27.         //从 HDFS 下载文件到本地
    28.         //path_str是HDFS文件路径  path_str1本地文件路径
    29.         fs.copyToLocalFile(new Path(path_str),new Path(path_str1));
    30.         // 关闭资源
    31.         fs.close();
    32.         System.out.println("文件下载成功");
    33.     }
    34.  
    35.     // 创建目录
    36.     public static void mkdir(String path_str) throws IOException {
    37.         //path_str所要创建目录路径
    38.         fs.mkdirs(new Path(path_str));
    39.         // 关闭资源
    40.         fs.close();
    41.         System.out.println("创建目录成功");
    42.     }
    43.  
    44.     // 重命名文件夹
    45.     public static void rename(String old_name,String new_path) throws IOException {
    46.         //old_name原文件名路径  //new_path新文件名路径
    47.         fs.rename(new Path(old_name),new Path(new_path));
    48.         // 关闭资源
    49.         fs.close();
    50.         System.out.println("重命名文件夹成功");
    51.     }
    52.     //main()方法中调用
    53. //    rename("/aa","/aa2");  //重命名文件夹
    54.  
    55.     // 删除文件 ,如果是非空文件夹,参数2必须给值true
    56.     public static void delete(String path_str) throws IOException {
    57.         //ture表示递归删除 可以用来删除目录 rm -rf
    58.         //false表示非递归删除
    59.         fs.delete(new Path(path_str),true);
    60.         // 关闭资源
    61.         fs.close();
    62.         System.out.println("删除文件夹成功");
    63.     }
    64.  
    65.     // 查看文件信息
    66.     public static void  listFiles(String path_str) throws IOException {
    67.         //获取迭代器对象
    68.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    69.         //遍历
    70.         while (listFiles.hasNext()){
    71.             LocatedFileStatus fileStatus = listFiles.next();
    72.             //打印当前文件名
    73.             System.out.println(fileStatus.getPath().getName());
    74.             //打印当前文件块大小
    75.             System.out.println(fileStatus.getBlockLocations());
    76.             //打印当前文件权限
    77.             System.out.println(fileStatus.getPermission());
    78.             //打印当前文件内容长度
    79.             System.out.println(fileStatus.getLen());
    80.             //获取该文件块信息(包含长度、数据块、datanode的信息)
    81. //            BlockLocation[] blockLocations = fileStatus.getBlockLocations();
    82. //            for (BlockLocation bl : blockLocations){
    83. //                System.out.println("block-length:" + bl.getLength()+"--"+"block-offset:"+bl.getOffset());
    84. //                String[] hosts = bl.getHosts();
    85. //                for (String host : hosts){
    86. //                    System.out.println(host);
    87. //                }
    88. //            }
    89.         }
    90.         System.out.println("--------分割线---------");
    91.         fs.close();
    92.     }
    93.     //把查看文件信息分解为下面几个方法
    94.     // 1、统计目录下所有文件(包括子目录)
    95.     // 1、统计某个路径(由main方法决定哪个路径),下所有的文件数里,例如：输出：该路径下共有 3 个文件
    96.     public static void count(String path_str) throws IOException {
    97.         //获取迭代器对象
    98.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    99.         //遍历
    100.         int count = 0;
    101.         while (listFiles.hasNext()) {
    102.             LocatedFileStatus fileStatus = listFiles.next();
    103.             count++;
    104.         }
    105.         System.out.println("路径：【"+ path_str +"】下,文件数量为"+count);
    106.         fs.close();
    107.     }
    108.  
    109.     // 2、列出某个路径(由main方法决定哪个路径),下所有的文件数里,例如：文件1,文"路径：【"+ path_str +"】下,文件有："+件2,....
    110.     public static void fileList(String path_str) throws IOException {
    111.         //获取迭代器对象
    112.         RemoteIterator listFiles = fs.listFiles(new Path(path_str),true);
    113.         String res = "";
    114.         //遍历
    115.         while (listFiles.hasNext()) {
    116.             LocatedFileStatus fileStatus = listFiles.next();
    117.             res += fileStatus.getPath().getName() + ", ";
    118.         }
    119.         if (res.equals("")){
    120.             res = "没有文件";
    121.         }else {
    122.             res = res.substring(0,res.length() - 2);
    123.         }
    124.         System.out.println("路径：【"+ path_str +"】下的文件：" + res);
    125. //        fs.close();
    126.     }
    127.  
    128. /*    路径【/】下共有 7 子文件
    129.     文件数量：1,文件列表：data.txt
    130.     目录数量：6,文件列表：a, exp, input, output, test, tmp*/
    131.     public static void list(String path) throws IOException {
    132.         FileStatus[] fileStatuses = fs.listStatus(new Path(path));
    133.         String res = "路径【" + path + "】下共有 " + fileStatuses.length + " 子文件";
    134.         int file_num = 0;
    135.         String file_list = "";
    136.         int dir_num = 0;
    137.         String dir_list = "";
    138.         for (FileStatus fileStatus:fileStatuses){
    139.             if (fileStatus.isFile()){
    140.                 file_num ++;
    141.                 file_list += fileStatus.getPath().getName() + ", ";
    142.             }else {
    143.                 dir_num ++;
    144.                 dir_list += fileStatus.getPath().getName() + ", ";
    145.             }
    146.         }
    147.         if (file_num != 0) res += "\n\t文件数量：" + file_num + ",文件列表：" + file_list.substring(0,file_list.length()-2);
    148.         if (dir_num != 0) res += "\n\t目录数量：" + dir_num + ",文件列表：" + dir_list.substring(0,dir_list.length()-2);
    149.         System.out.println(res);
    150.     }
    151.  
    152.     // 检查路径是目录还是文件
    153.     public static void mulu(String path_str) throws IOException {
    154.         Path path = new Path(path_str);
    155.         // 判断路径是否存在
    156.         if (fs.exists(path)) {
    157.             // 获取指定路径的详细信息
    158.             FileStatus status = fs.getFileStatus(path);
    159.             if (status.isDirectory()) {
    160.                 System.out.println(path + "这是一个目录");
    161.             } else if (status.isFile()) {
    162.                 System.out.println(path + "这是一个文件");
    163.             } else {
    164.                 System.out.println("这是一个未知类型");
    165.             }
    166.         } else {
    167.             System.out.println("路径不存在");
    168.         }
    169.         //关闭资源
    170.         fs.close();
    171.     }
    172.  
    173.         //调用
    174.     public static void main(String[] args) throws IOException {
    175.         // 初始化客户端对象
    176.         //构造一个配置对象，设置一个参数：访问的 HDFS 的 URL
    177.         Configuration conf = new Configuration();
    178.         //这里指定使用的是 HDFS
    179.         conf.set("fs.defaultFS","hdfs://hadoop00:9000");
    180.         //通过如下的方式进行客户端身份的设置
    181.         System.setProperty("HADOOP_USER_NAME","root");
    182.         //通过 FileSystem 的静态方法获取文件系统客户端对象
    183.         fs = FileSystem.get(conf);  //抛出异常
    184.         System.out.println("hdfs连接成功");
    185.         
    186.         //main()方法中调用
    187. //        list("/"); //查看所有
    188.         //main()方法中调用
    189. //          fileList("/"); //查看有什么文件
    190. //          fileList("/input"); //查看有什么文件
    191.         //main()方法中调用
    192. //        count("/");  //统计
    193.         //main()方法中调用
    194. //        mulu("/exp/word.txt"); //检查路径是目录还是文件
    195.         //main()方法中调用
    196. //        listFiles("/data.txt");  //查看文件信息
    197.         //main()方法中调用
    198. //        delete("/aa2");  //删除文件
    199.         //main()方法中调用
    200. //        rename("/aa","/aa2");  //重命名文件夹
    201.         //main()方法中调用
    202. //        upload("D:/大数据/word.txt","/input");  //上传
    203.         //main()方法中调用
    204. //        mkdir("/input");  //创建目录
    205.         //main()方法中调用
    206. //        downloal("/data.txt","D:/大数据/文件");  //下载
    207.     }
    208. }

  • 相关阅读:
    手撕spring核心源码，彻底搞懂spring流程
    2. gin中间件注意事项、路由拆分与注册技巧
    SAS|proc sort(排序)&proc transpose(转置)
    技术内幕 | StarRocks Pipeline 执行框架（下）
    Zabbix技术分享——docker组件编译使用教程
    程序员面试金典 - 面试题 17.18. 最短超串
    vue路由切换时，若是一个路径但是参数不同，页面不会变化
    @Scope与@RefreshScope注解
    Java回顾-比较器Comparable/Comparator
    基于SSM的宠物医院管理系统
  • 原文地址：https://blog.csdn.net/2202_75688394/article/details/134332350