• HDFS的API操作:准备工作


    1.打开idea导入jar包依赖
    2.将hadoop的windows依赖导入到环境变量中
    3.双击xxxxx\hadoop-3.1.0\bin\winutils.exe 如果没有报错就是可以使用 如果有报错需要去安装微软运行库(一般前三步即可)
    4.需要将winutils.exe和hadoop.dll文件放到C:\Windows\System32

    1. 在IDEA中创建一个Maven工程,并导入相应的依赖坐标+日志添加

       

            org.apache.hadoop

            hadoop-client

            3.1.3

       

       

            junit

            junit

            4.12

       

       

            org.slf4j

            slf4j-log4j12

            1.7.30

       

    搭建module(maven)

    2.将hadoop的windows依赖导入到环境变量

    1)找到资料包路径下的Windows依赖文件夹,拷贝hadoop-3.1.0到非中文路径(比如d:\)。

    2)配置HADOOP_HOME环境变量

     3)配置Path环境变量。

    注意:如果环境变量不起作用,可以重启电脑试试。

     验证Hadoop环境变量是否正常。双击winutils.exe,如果报如下错误。说明缺少微软运行库(正版系统往往有这个问题)。再资料包里面有对应的微软运行库安装包双击安装即可。

    3.在项目的src/main/resources目录下,新建一个文件,命名为“log4j.properties”,在文件中填入

    log4j.rootLogger=INFO, stdout 

    log4j.appender.stdout=org.apache.log4j.ConsoleAppender 

    log4j.appender.stdout.layout=org.apache.log4j.PatternLayout 

    log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n 

    log4j.appender.logfile=org.apache.log4j.FileAppender 

    log4j.appender.logfile.File=target/spring.log 

    log4j.appender.logfile.layout=org.apache.log4j.PatternLayout 

    log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

     

  • 相关阅读:
    SpringSecurity整合SSM和SpringBoot完成方法级权限控制
    Object.defineProperty方法(Vue 数据双向绑定原理)
    两阶段终止模式
    curl语法整理
    shell之循环语句(for、while、until)
    [晕事]今天做了件晕事26;gcc对strcmp/strncmp的优化
    Git远程仓库配置SSH(以github为例)
    【ensp实验】Telnet 协议
    利用ChatGPT来学习数据库开发知识和解决疑问
    轻量级RPC框架‘dubbo’
  • 原文地址:https://blog.csdn.net/weixin_44216665/article/details/126254996