• docker安装hadoop集群遇到的一些问题


    1.进入hadoop镜像对应的容器内,执行Hdfs命令,显示没找到hdfs: command not found

    解决方案:在/etc/profile文件内

    原来是export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HADOOP_HOME/sbin

    改成export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin: H A D O O P _ H O M E / s b i n : HADOOP\_HOME/sbin: HADOOP_HOME/sbin:PATH

    2./usr/local/hadoop/sbin目录调用start-all.sh,启动过程提示Slave1: nodemanager is running as process 226. Stop it first.

    解决方案:

    1.先在slave或masterKill掉对应进程 Kill 226

    2.调用stop-all.sh

    这二步都做了,再调用start-all.sh启动就正常了

    3.Hive初始化元数据报Illegal character entity会提示在哪一行

    ./schematool -initSchema -dbType mysql

    原因就是在conf/hive-stite.xml对应行那里有个 把他删掉即可

    用vim +行数 hive-sitem.xml跳到所在行

    4.Hive初始化元数据报

    Cannot find hadoop installation: $HADOOP_HOME or $HADOOP_PREFIX must be set

    解决方案:在/etc/profile里加了一行

    export PATH= P A T H : PATH: PATH:HADOOP_HOME/bin:$HIVE_HOME/bin

    然后source profile重新运行该文件

    然后再重新初始化元数据就可以了。

    5.用hive命令准备进入Hive时,报了两个错

    1.连接不了hadoopMaster,这个在启动hadoop(haddop目录/sbin ./start-all.sh)就好了

    2.无法创建Cannot create directory /tmp/hive. Name node is in safe mode

    这个是因为我hadoop之前设置进入了安全模式,所以用hdfs dfsadmin -safemode leave 退出安全模式就可以了

  • 相关阅读:
    嵌入式Linux裸机开发(五)中断管理
    Python总结
    优先级队列(堆)【Java】
    工艺防错指导、可视化工具管理——SunTorque智能扭矩系统
    PDFView4NET 2022.09.02 Crack
    数学建模 线性规划 遗传算法
    MySQL 数据库 基础(一)
    MongoDB - 入门指南
    在linux安装单机版hadoop-3.3.6
    vivo 自研鲁班分布式 ID 服务实践
  • 原文地址:https://blog.csdn.net/m0_67402096/article/details/126327485