• HDFS(一)

    一：HDFS概念

    1.1 产生背景

    随着数据量越来越大，在一个操作系统存不下所有的数据，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

    1.2 HDFS定义

    HDFS（Hadoop Distributed File System），它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。

    HDFS的使用场景：适合一次写入，多次读出的场景。一个文件经过创建、写入和关闭之后就不需要改变。

    1.3 优缺点

    优点：

    （一）高容错性：数据自动保存多个副本。它通过增加副本的形式，提高容错性。某一个副本丢失以后，它可以自动恢复。

    （二）适合处理大数据：

    数据规模：能够处理数据规模达到GB、TB、甚至PB级别的数据；

    文件规模：能够处理百万规模以上的文件数量，数量相当之大。

    （三）可构建在廉价机器上，通过多副本机制，提高可靠性。

    缺点：

    （一）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。

    （二）无法高效的对大量小文件进行存储。

    ➢存储大量小文件的话，它会占用NameNode大量的内存来存储文件目录和块信息。这样是不可取的，因为NameNode的内存总是有限的；

    ➢小文件存储的寻址时间会超过读取时间，它违反了HDFS的设计目标。

    （三）不支持并发写入、文件随机修改。

    ➢一个文件只能有一个写，不允许多个线程同时写；

    ➢仅支持数据append（追加），不支持文件的随机修改。

    1.4 组成架构

    一：NameNode（nn）：就是Master，它是一个主管、管理者。（老板）

    （1）管理HDFS的名称空间；

    （2）配置副本策略；

    （3）管理数据块（Block）映射信息；

    （4）处理客户端读写请求。

    二：DataNode：就是Slave。NameNode下达命令，DataNode执行实际的操作。（员工）

    （1）存储实际的数据块；

    （2）执行数据块的读/写操作。

    三：Client：就是客户端。 （甲方）

    （1）文件切分。文件上传HDFS的时候，Client将文件切分成一个一个的Block，然后进行上传；（2）与NameNode交互，获取文件的位置信息；

    （3）与DataNode交互，读取或者写入数据；

    （4）Client提供一些命令来管理HDFS，比如NameNode格式化；

    （5）Client可以通过一些命令来访问HDFS，比如对HDFS增删查改操作；

    四：Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。（秘书）

    （1）辅助NameNode，分担其工作量，比如定期合并Fsimage和Edits，并推送给NameNode；（2）在紧急情况下，可辅助恢复NameNode。

    1.5 HDFS文件块大小

    思考：为什么块的大小不能设置太小，也不能设置太大？

    （1）HDFS的块设置太小，会增加寻址时间，程序一直在找块的开始位置；

    （2）如果块设置的太大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。导致程序在处理这块数据时，会非常慢。

    总结：HDFS块的大小设置主要取决于磁盘传输速率。

     二：HDFS的Shell操作

    2.1 基本语法

    hadoop fs 具体命令   或者     hdfs dfs 具体命令

    两个命令是完全相同的。

    bin/hadoop fs            ------命令大全

    2.2 上传

    1）-moveFromLocal：从本地剪切粘贴到HDFS

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -moveFromLocal ./shuguo.txt /sanguo

    2）-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyFromLocal weiguo.txt /sanguo

    3）-put：等同于copyFromLocal，生产环境更习惯用put

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -put ./wuguo.txt /sanguo

    4）-appendToFile：追加一个文件到已经存在的文件末尾

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -appendToFile liubei.txt /sanguo/shuguo.txt

    2.3 下载

    1）-copyToLocal：从HDFS拷贝到本地

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -copyToLocal /sanguo/shuguo.txt ./

    2）-get：等同于copyToLocal，生产环境更习惯用get

    [atguigu@hadoop102 hadoop-3.1.3]$ hadoop fs -get /sanguo/shuguo.txt ./shuguo2.txt

    三：HDFS的API操作

    （一）配置HADOOP_HOME环境变量

    （二）配置Path环境变量。

    （三）在IDEA中创建一个Maven工程（这个需要去配置一下Maven），并导入相应的依赖坐标+日志添加

    1. <dependencies>  
    2. <dependency>  
    3. <groupId>org.apache.hadoopgroupId>  
    4. <artifactId>hadoop-clientartifactId>  
    5. <version>3.1.3version>  
    6. dependency>  
    7. <dependency>  
    8. <groupId>junitgroupId>  
    9. <artifactId>junitartifactId>  
    10. <version>4.12version>  
    11. dependency>  
    12. <dependency>  
    13. <groupId>org.slf4jgroupId> 
    14.  <artifactId>slf4j-log4j12artifactId>  
    15. <version>1.7.30version>  
    16. dependency> 
    17. dependencies>

    （四）在项目的src/main/resources目录下，新建一个文件，命名为“log4j.properties”，在文件中填入

    1. log4j.rootLogger=INFO, stdout log4j.appender.stdout=org.apache.log4j.ConsoleAppender log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
    2. log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
    3. log4j.appender.logfile=org.apache.log4j.FileAppender
    4. log4j.appender.logfile.File=target/spring.log
    5. log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
    6. log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

    （五）创建HdfsClient类（获取客户端对象）

    1. @Before
    2.     public void init() throws URISyntaxException, IOException, InterruptedException {
    3.         //连接的集群nn地址
    4.         URI uri=new URI("hdfs://hadoop102:8020");
    5.         //创建一个配置文件
    6.         Configuration configuration=new Configuration();
    7.  
    8.         //修改优先级
    9.         configuration.set("dfs.replication","2");
    10.  
    11.         //用户
    12.         String user="axing";
    13.         //1.获取到了客户端对象
    14.          fs= FileSystem.get(uri, configuration,user);
    15.     }
    16.     @After
    17.     public void close() throws IOException {
    18.         //3.关闭资源
    19.         fs.close();
    20.     }

    （六）API案例实操

    1. //创建目录
    2.     @Test
    3.     public void testmkdir() throws URISyntaxException, IOException, InterruptedException {
    4.         //2.创建一个文件夹
    5.         fs.mkdirs(new Path("/xiyou/huaguoshan1"));
    6.     }
    7.     //上传
    8.     @Test
    9.     /**
    10.      * 参数优先级
    11.      * hdfs-default.xml（最低） => hdfs-site.xml => 在项目资源目录下的配置文件 => 代码里面的配置（最高）
    12.      */
    13.  
    14.     public void testPut() throws IOException {
    15.         //参数解读
    16.         //参数一：是否删除原数据
    17.         //参数二：是否覆盖
    18.         //参数三：原数据路径
    19.         //参数四：目的地路径
    20.         fs.copyFromLocalFile(true,true,new Path("D:\\sunwukong.txt"),new Path("hdfs://hadoop102:/xiyou/huaguoshan"));
    21.  
    22.     }
    23.     //文件下载
    24.     @Test
    25.     public void testGet() throws IOException {
    26.         //参数解读
    27.         //参数一：是否删除原数据
    28.         //参数二：源文件路径HDFS
    29.         //参数三：目标地址路径Win
    30.         //参数四：是否开启本地校验
    31.         fs.copyToLocalFile(true,new Path("hdfs://hadoop102/xiyou/huaguoshan"),new Path("D:\\"),true);
    32.     }
    33.  
    34.     //删除
    35.     @Test
    36.     public void testRm() throws IOException {
    37.         //参数解读
    38.         //参数一：要删除的路径
    39.         //参数二：是否递归删除
    40.  
    41.         //删除文件
    42.         fs.delete(new Path("/jdk-8u212-linux-x64.tar.gz"),false);
    43.  
    44.         //删除空目录
    45.         fs.delete(new Path("/xiyou"),false);
    46.         //删除非空目录
    47.         fs.delete(new Path("/jinguo"),true);
    48.     }
    49.  
    50.     //文件的更名和移动
    51.     @Test
    52.     public void testMv() throws IOException {
    53.         //参数解读
    54.         //参数一：原文件路径
    55.         //参数二：目标文件路径
    56.  
    57.         //对文件名称的修改
    58.     //    fs.rename(new Path("/input1/word.txt"),new Path("/input1/ss.txt"));
    59.  
    60.         //文件的移动和更名
    61.      //   fs.rename(new Path("/input1/ss.txt"),new Path("/cls.txt"));
    62.  
    63.         //目录更名
    64.         fs.rename(new Path("/input1"),new Path("/output1"));
    65.     }
    66.  
    67.     //获取文件详细信息
    68.     @Test
    69.     public void fileDetail() throws IOException {
    70.  
    71.         //获取所有文件信息
    72.         RemoteIterator listFiles=fs.listFiles(new Path("/"),true);
    73.  
    74.         //遍历文件
    75.         while(listFiles.hasNext()){
    76.             LocatedFileStatus fileStatus=listFiles.next();
    77.             System.out.println("========"+fileStatus.getPath()+"========");
    78.             System.out.println(fileStatus.getPermission());
    79.             System.out.println(fileStatus.getOwner());
    80.             System.out.println(fileStatus.getGroup());
    81.             System.out.println(fileStatus.getLen());
    82.             System.out.println(fileStatus.getModificationTime());
    83.             System.out.println(fileStatus.getReplication());
    84.             System.out.println(fileStatus.getBlockSize());
    85.             System.out.println(fileStatus.getPath().getName());
    86.  
    87.             //获取块信息
    88.             BlockLocation[] blockLocations=fileStatus.getBlockLocations();
    89.             System.out.println(Arrays.toString(blockLocations));
    90.  
    91.         }
    92.     }
    93.  
    94.     //判断是文件夹还是文件
    95.     @Test
    96.     public void testFile() throws IOException {
    97.         FileStatus[] listStatus=fs.listStatus(new Path("/"));
    98.  
    99.         for(FileStatus status:listStatus){
    100.             if(status.isFile()){
    101.                 System.out.println("文件："+status.getPath().getName());
    102.             }else {
    103.                 System.out.println("目录："+status.getPath().getName());
    104.             }
    105.         }
    106.     }

  • 相关阅读:
    外呼系统用回拨模式打电话有什么优势
    js的静态方法和静态属性
    你的项目需要自动化测试吗？
    git可视化工具-idea插件使用
    第二节：vuex与wabpack基本配置
    分布式系统幂等解决方案
    FFmpeg 基础
    3. 使用tcpdump抓取rdma数据包
    视觉神经网络的工作机理,计算机视觉和神经网络
    Qt插件之Qt Designer插件实现
  • 原文地址：https://blog.csdn.net/JiaXingNashishua/article/details/125886894