• 大数据快速入门开发环境篇：CentOS 7安装配置Hadoop大数据框架开发环境

    注意：在开始安装之前，请确保您的CentOS 7系统已经正确安装和配置了Java。Hadoop需要Java来运行。

    目录

    一、下载与配置Hadoop框架：

    1.1、下载与环境变量设置

    访问Hadoop官方网站（https://hadoop.apache.org/）或镜像站点（https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/）以获取Hadoop 3.3.6的下载链接。使用wget或curl来下载Hadoop二进制文件。假设您下载的是hadoop-3.3.6.tar.gz文件：
    在这里插入图片描述

    wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.6/hadoop-3.3.6.tar.gz

    • 1

    解压Hadoop：

    使用以下命令解压下载的Hadoop文件：

    tar -xzvf hadoop-3.3.6.tar.gz

    • 1

    移动Hadoop：
    将解压后的Hadoop文件夹移动到您选择的安装目录。例如，将其移动到/opt目录下：

    sudo mv hadoop-3.3.6 /opt/hadoop

    • 1

    配置环境变量：

    编辑~/.bashrc文件，添加以下行来配置Hadoop的环境变量：

    export HADOOP_HOME=/opt/hadoop
export PATH=$PATH:$HADOOP_HOME/bin

    • 1
    • 2

    然后运行以下命令以使更改生效：

    source ~/.bashrc

    • 1

    1.2、XML配置文件Hadoop设置

    进入Hadoop配置目录：

    cd /opt/hadoop/etc/hadoop

    • 1

    在这里，您需要编辑Hadoop的配置文件。以下是一些常见的配置文件和修改的示例：

    core-site.xml：配置Hadoop的核心设置。

    <configuration>
  <property>
    <name>fs.defaultFSname>
    <value>hdfs://localhost:9000value>
  property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    hdfs-site.xml：配置HDFS设置。

    <configuration>
  <property>
    <name>dfs.replicationname>
    <value>1value>
  property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    mapred-site.xml：配置MapReduce设置。

    <configuration>
  <property>
    <name>mapreduce.framework.namename>
    <value>yarnvalue>
  property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    yarn-site.xml：配置YARN设置。

    <configuration>
  <property>
    <name>yarn.nodemanager.aux-servicesname>
    <value>mapreduce_shufflevalue>
  property>
configuration>

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6

    这些只是示例配置，您可以根据您的需求进行更改。

    1.3、格式化HDFS

    在首次启动Hadoop之前，需要格式化HDFS。运行以下命令：

    hdfs namenode -format

    • 1

    启动Hadoop：

    使用以下命令启动Hadoop：

    start-all.sh

    • 1

    这将启动HDFS和YARN。

    访问Hadoop Web界面：

    打开Web浏览器并访问以下URL以查看Hadoop集群的Web界面：

    HDFS：http://localhost:9870/
YARN ResourceManager：http://localhost:8088/

    • 1
    • 2

    现在，您已经成功在CentOS 7上安装和配置了Hadoop 3.3.6。接下来，您可以开始使用Hadoop来处理大数据任务。请根据您的需求创建Hadoop用户、配置集群更多细节、创建Hive等等。

    注意：如果上述执行之后出现下面的问题说明，您的系统没有设置JAVA_HOME环境变量或者JAVA_HOME环境变量设置不正确，也就是下面要讲 的内容和解决方法。

    二、Hadoop 3.x版本中hdfs命令的问题解决与配置方法

    2.1、问题描述与解决方法

    hdfs namenode -format
ERROR: JAVA_HOME is not set and could not be found.

    • 1
    • 2

    解决方法：在运行Hadoop命令之前，您需要确保已经正确配置了Java环境。以下是解决此问题的步骤：检查Java安装：首先，请确保您已经在CentOS 7上正确安装了Java。您可以运行以下命令来检查Java的安装情况：

    java -version

    • 1

    如果Java已经安装，您将看到Java的版本信息。如果没有安装，您可以使用以下命令安装OpenJDK 8，如下介绍。

    sudo yum install java-1.8.0-openjdk-devel

    • 1

    2.2、设置JAVA_HOME环境变量

    一旦Java安装完成，您需要设置JAVA_HOME环境变量。编辑~/.bashrc文件，并在文件末尾添加以下行，将JAVA_HOME设置为Java安装的路径：

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk
export PATH=$PATH:$JAVA_HOME/bin

    • 1
    • 2

    确保路径/usr/lib/jvm/java-1.8.0-openjdk与您系统上Java的实际安装路径一致。保存文件后，运行以下命令使更改生效：

    source ~/.bashrc

    • 1

    再次尝试格式化HDFS，重新运行格式化HDFS的命令：hdfs namenode -format。

    假设你的系统已经安装了java环境但是HDFS还是没有检测到，解决的方法如下：
    如何查找下面的java安装路径：

    java -version
openjdk version "1.8.0_382"
OpenJDK Runtime Environment (build 1.8.0_382-b05)
OpenJDK 64-Bit Server VM (build 25.382-b05, mixed mode)

    • 1
    • 2
    • 3
    • 4

    使用以下命令来查找Java的安装路径：

    readlink -f $(which java)

    • 1

    这个命令会找到系统上java命令的符号链接，并且使用readlink命令查找它的实际路径。输出将是Java二进制文件的完整路径。

    在您的情况下，根据您提供的Java版本信息，这个命令可能会返回类似于以下内容的路径：

    /usr/lib/jvm/java-1.8.0-openjdk-<版本号>/jre/bin/java

    • 1

    其中<版本号>会因实际安装的Java版本而有所不同。上述路径中的/usr/lib/jvm/java-1.8.0-openjdk-<版本号>就是Java的安装路径。您可以将这个路径用于设置JAVA_HOME环境变量或者在Hadoop配置文件中配置Java的路径。

    在~/.bashrc文件中设置JAVA_HOME环境变量：

    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.382.b05-1.el7_9.x86_64
export PATH=$PATH:$JAVA_HOME/bin

    • 1
    • 2

    保存文件后，运行以下命令使更改生效：

    source ~/.bashrc

    • 1

    再次执行命令出现下面的结果：

    fsimage.ckpt_0000000000000000000 of size 396 bytes saved in 0 seconds .
2023-09-21 00:21:16,403 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0
2023-09-21 00:21:16,437 INFO namenode.FSNamesystem: Stopping services started for active state
2023-09-21 00:21:16,437 INFO namenode.FSNamesystem: Stopping services started for standby state
2023-09-21 00:21:16,444 INFO namenode.FSImage: FSImageSaver clean checkpoint: txid=0 when meet shutdown.
2023-09-21 00:21:16,446 INFO namenode.NameNode: SHUTDOWN_MSG: 
/************************************************************
SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1
************************************************************/

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9

    从上述的提供的日志中看，似乎已经成功格式化了HDFS，并且NameNode已经正常启动。然后，您尝试重新启动Hadoop集群，但遇到了start-all.sh: 未找到命令…错误。

    2.3、Hadoop 3.x版本中某些脚本已弃用和新的使用方法

    start-all.sh脚本已弃用

    
[root@localhost hadoop]# start-all.sh
bash: start-all.sh: 未找到命令...

    • 1
    • 2
    • 3

    主要的原因和解决的方法如下：在Hadoop 3.x版本中，start-all.sh脚本已经不再提供，因此不再支持使用该脚本来启动整个Hadoop集群。相反，您需要单独启动Hadoop的各个组件。

    以下是启动Hadoop集群各个组件的命令：

    启动HDFS（分布式文件系统）：

    hdfs --daemon start namenode
hdfs --daemon start datanode

    • 1
    • 2

    启动YARN（资源管理器）：

    yarn --daemon start resourcemanager
yarn --daemon start nodemanager

    • 1
    • 2

    mr-jobhistory-daemon.sh脚本已弃用

    启动MapReduce（如果需要）：

    mr-jobhistory-daemon.sh start historyserver

    • 1

    但是，上述很可能出现下面的问题：

    mr-jobhistory-daemon.sh start historyserver
bash: mr-jobhistory-daemon.sh: 未找到命令...

    • 1
    • 2

    解决的方法如下：
    在Hadoop 3.x版本中，mr-jobhistory-daemon.sh脚本已经不再提供，因此不再支持使用该脚本来启动MapReduce历史服务器。相反，您可以使用以下命令启动MapReduce历史服务器：

    mapred --daemon start historyserver

    • 1

    如果上述命令也未找到，您可以尝试使用完整的路径来启动MapReduce历史服务器。MapReduce历史服务器的启动脚本通常位于Hadoop的bin目录下。例如：

    /opt/hadoop/bin/mapred --daemon start historyserver

    • 1

    请确保在启动MapReduce历史服务器之前，已经启动了HDFS和YARN组件，因为MapReduce依赖于这些组件运行。

    要确保Hadoop服务正在运行，您可以运行以下命令来检查它们的状态，检查HDFS状态：

    hdfs dfsadmin -report

    • 1

    检查YARN状态：

    yarn node -list

    • 1

    这些命令将显示有关HDFS和YARN的详细信息，包括其状态和运行状况。

    2.4、验证HDFS集群是否已经启动

    hdfs dfsadmin -report
Configured Capacity: 57638281216 (53.68 GB)
Present Capacity: 35719229440 (33.27 GB)
DFS Remaining: 35719225344 (33.27 GB)
DFS Used: 4096 (4 KB)
DFS Used%: 0.00%
Replicated Blocks:
	Under replicated blocks: 0
	Blocks with corrupt replicas: 0
	Missing blocks: 0
	Missing blocks (with replication factor 1): 0
	Low redundancy blocks with highest priority to recover: 0
	Pending deletion blocks: 0
Erasure Coded Block Groups: 
	Low redundancy block groups: 0
	Block groups with corrupt internal blocks: 0
	Missing block groups: 0
	Low redundancy blocks with highest priority to recover: 0
	Pending deletion blocks: 0

-------------------------------------------------
Live datanodes (1):

Name: 127.0.0.1:9866 (localhost)
Hostname: localhost
Decommission Status : Normal
Configured Capacity: 57638281216 (53.68 GB)
DFS Used: 4096 (4 KB)
Non DFS Used: 21919051776 (20.41 GB)
DFS Remaining: 35719225344 (33.27 GB)
DFS Used%: 0.00%
DFS Remaining%: 61.97%
Configured Cache Capacity: 0 (0 B)
Cache Used: 0 (0 B)
Cache Remaining: 0 (0 B)
Cache Used%: 100.00%
Cache Remaining%: 0.00%
Xceivers: 0
Last contact: Thu Sep 21 00:24:55 PDT 2023
Last Block Report: Thu Sep 21 00:23:25 PDT 2023
Num of Blocks: 0


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42

    上述生成内容描述：
    HDFS集群看起来已经成功启动，并且有一个DataNode（本地主机）正常运行。

    以下是一些关于您HDFS集群状态的重要信息：

    配置容量 (Configured Capacity)：这是HDFS集群的总容量，为 53.68 GB。

    当前容量 (Present Capacity)：当前HDFS集群中可用的容量，为 33.27 GB。

    DFS 剩余容量 (DFS Remaining)：尚未使用的DFS容量，为 33.27 GB。

    DFS 已使用 (DFS Used)：已经使用的DFS容量，仅为 4 KB。

    DFS 使用率 (DFS Used%)：DFS已使用容量相对于总容量的百分比，这里是0.00%。

    存活的DataNode (Live datanodes)：您的HDFS集群中有一个DataNode，主机名是localhost。

    DataNode的容量信息：DataNode的容量配置、已使用和剩余容量等信息。

    块复制信息 (Replicated Blocks)：有关块副本、未副本化的块、损坏副本的块和丢失块的信息。

    擦除编码块组信息 (Erasure Coded Block Groups)：有关擦除编码块组的信息。

    总体来说，HDFS集群看起来正常运行，并且大部分容量仍然可用。请注意，DFS Used%为0.00%，这表示您尚未将大量数据存储在HDFS中。如果您计划使用HDFS来存储和处理大数据，请将文件或数据上传到HDFS以填充存储容量。

    要验证Hadoop是否已成功安装并正常运行，您可以执行以下操作：

    检查Hadoop进程

    使用以下命令来检查Hadoop的各个组件是否在运行：

    HDFS：运行 jps 命令，应该能看到 NameNode、DataNode 和 SecondaryNameNode 进程在运行。示例：

    1234 NameNode
5678 DataNode
9012 SecondaryNameNode

    • 1
    • 2
    • 3

    YARN：同样，运行 jps 命令，应该能看到 ResourceManager 和 NodeManager 进程在运行。示例：

    1234 ResourceManager
5678 NodeManager

    • 1
    • 2

    MapReduce（如果使用）：运行 jps 命令，应该能看到 JobHistoryServer 进程在运行。

    但是上述jps很可能会出现下面的情况：

    [root@localhost hadoop]# jps
bash: jps: 未找到命令...
[root@localhost hadoop]# jps
bash: jps: 未找到命令...
[root@localhost hadoop]#

    • 1
    • 2
    • 3
    • 4
    • 5

    上述问题的原因和解决方法：执行jps命令时遇到了"未找到命令"的错误。这是因为jps命令通常随着Java安装的JDK（Java Development Kit）一起提供，用于列出正在运行的Java进程。由于您遇到了这个错误，可能是因为jps命令未在系统的PATH中，或者您的Java JDK没有正确安装。

    为了解决这个问题，您可以尝试以下步骤：安装OpenJDK的JDK：请确保您已经正确安装了OpenJDK的JDK（Java Development Kit）。jps命令通常随着JDK一起提供。如果尚未安装，请使用以下命令安装：

    要再次确认是否下面的命令已经安装：

    sudo yum install java-1.8.0-openjdk-devel

    • 1

    如果您已经安装了JDK，请确保安装的版本与您之前查找到的Java版本一致（OpenJDK 1.8.0）。

    使用完整路径运行jps：如果在步骤1中安装了JDK，但仍然无法使用jps命令，可以尝试使用完整路径运行jps命令。通常，jps命令位于JDK的bin目录中。例如：

    /usr/lib/jvm/java-1.8.0-openjdk-<版本号>/bin/jps

    • 1

    请根据您的JDK安装路径替换<版本号>部分。

    将jps所在目录添加到PATH：另一种方法是将jps所在的目录添加到系统的PATH环境变量中。在大多数情况下，jps位于/usr/lib/jvm/java-1.8.0-openjdk-<版本号>/bin/目录中。您可以编辑~/.bashrc文件并将以下行添加到文件末尾：

    export PATH=$PATH:/usr/lib/jvm/java-1.8.0-openjdk-<版本号>/bin/

    • 1

    然后运行以下命令使更改生效：

    source ~/.bashrc

    • 1

    然后再次尝试运行jps命令。运行结果如下：

    jps
3139 Main
11717 Jps
10534 NameNode
10694 DataNode
10838 ResourceManager
11149 NodeManager
11423 JobHistoryServer

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8

    根据输出结果，可以看到以下Hadoop组件正在运行：

    NameNode：这是Hadoop的主要组件，负责管理HDFS文件系统的命名空间和元数据。

    DataNode：这是Hadoop的数据存储组件，负责存储HDFS中的数据块。

    ResourceManager：这是YARN资源管理器，负责管理集群上的资源。

    NodeManager：这是YARN节点管理器，负责管理每个节点上的资源和容器。

    JobHistoryServer：这是MapReduce作业历史服务器，用于记录和查询MapReduce作业的历史信息。

    还有一个名为Jps的Java进程，用于列出正在运行的Java进程。

    根据这些信息，您的Hadoop集群似乎已经成功安装并正常运行。您可以通过访问Hadoop的Web界面（如HDFS、YARN ResourceManager等）来进一步验证集群的状态和运行情况。

    最后验证Hadoop是否已成功安装并正常运行

    查看Hadoop进程：

    使用 ps 命令，确保Hadoop的各个组件仍然在运行。您可以运行以下命令来查看Hadoop进程：

    ps aux | grep hadoop

    • 1

    确保列出的进程中包括NameNode、DataNode、ResourceManager、NodeManager和JobHistoryServer等组件。

    访问Hadoop Web界面：

    再次访问Hadoop的Web界面来查看集群的状态和运行情况。这些界面包括：

    HDFS Web界面：http://localhost:9870/
YARN ResourceManager Web界面：http://localhost:8088/
MapReduce JobHistoryServer Web界面（如果使用MapReduce）：http://localhost:19888/

    • 1
    • 2
    • 3

    如果能够访问这些界面并查看集群状态信息，说明Hadoop正在运行。

    创建和操作HDFS文件：

    尝试在HDFS上创建文件、目录，上传文件，以及查看HDFS文件列表。例如，您可以使用以下命令在HDFS上创建一个目录并上传文件：

    hdfs dfs -mkdir /user/your_username
hdfs dfs -put /local/path/to/your/file /user/your_username/

    • 1
    • 2

    如果这些操作都成功完成，说明Hadoop的HDFS部分正常工作。

    提交MapReduce作业（如果使用MapReduce）：

    如果您使用MapReduce，可以再次提交一个简单的MapReduce作业来验证MapReduce是否正常工作。首先，确保已经编写了一个MapReduce作业，并将JAR文件准备好，然后使用以下命令提交作业：

    yarn jar /path/to/your/MapReduceJob.jar input_dir output_dir

    • 1

    如果作业成功运行并生成输出，说明MapReduce部分正常工作。

    查看Hadoop日志：

    检查Hadoop的日志文件以查看是否有任何错误或异常。通常，Hadoop的日志文件位于/opt/hadoop/logs/目录下。您可以使用ls命令查看这个目录中的日志文件，并使用cat或tail命令来查看日志内容。

    #、

    三、案例及用途

    3.1、Hadoop和相关技术的不同用途和应用

    数据清洗和预处理：使用MapReduce作业，从原始日志文件中提取和清洗数据，以便进一步的分析和可视化。

    用户行为分析：使用Hive编写查询，分析网站或应用程序的用户行为数据，例如页面浏览量、用户访问模式等。

    推荐系统：基于用户历史行为数据，使用Hadoop和机器学习算法构建个性化的推荐系统，为用户提供定制的建议。

    文本分析和情感分析：使用Hadoop和自然语言处理技术，对大规模文本数据进行分析，例如情感分析、主题建模等。

    实时数据处理：使用Apache Kafka和Apache Storm等流处理技术，构建实时数据处理管道，用于监控和分析实时事件流。

    图分析：使用Hadoop图处理框架（如Apache Giraph）来解决复杂的图分析问题，例如社交网络分析或路网分析。

    日志分析和异常检测：使用Hadoop和ELK（Elasticsearch、Logstash、Kibana）堆栈，分析日志数据并检测异常事件。

    批处理ETL作业：使用Apache NiFi等工具，构建批处理ETL（提取、转换、加载）作业，将数据从不同来源汇总到数据仓库中。

    时间序列数据分析：使用Hadoop和时间序列数据库，对时间序列数据进行分析，例如股票市场数据、传感器数据等。

    地理信息系统（GIS）分析：

    使用Hadoop和GIS库，分析地理信息数据，执行地理空间查询和地图分析。

    这些案例涵盖了大数据处理的多个领域，包括数据清洗、分析、机器学习、实时处理和更多。根据您的兴趣和需求，您可以选择其中一个或多个案例来深入了解和实践。

    3.2、访问Hadoop Web界面

    Hadoop提供了Web界面，可以通过浏览器访问并查看Hadoop集群的状态。以下是一些常用的Web界面：

    HDFS Web界面：http://localhost:9870/
YARN ResourceManager Web界面：http://localhost:8088/
MapReduce JobHistoryServer Web界面（如果使用MapReduce）：http://localhost:19888/

    • 1
    • 2
    • 3

    下面详细介绍以及用法：

    Hadoop提供了一组Web界面，用于监视和管理Hadoop集群的不同组件。这些界面提供了关于集群健康、作业状态、资源使用等方面的重要信息。以下是Hadoop集群中一些常见的Web界面及其详细介绍：

    HDFS Web界面：http://localhost:9870/

    HDFS Web界面是Hadoop分布式文件系统（HDFS）的管理和监视工具。通过此界面，您可以：

    浏览文件系统：查看HDFS中的文件和目录，以及它们的大小和权限。
    查看块报告：了解每个数据块的状态，包括块的副本数量和位置。
    查看节点报告：监视HDFS集群中的各个数据节点的状态、容量和使用情况。
    上传和下载文件：通过界面上传文件到HDFS或从HDFS下载文件。
    查看HDFS用量和健康状况：获取HDFS的容量、使用情况、剩余空间和数据块相关信息。
    HDFS Web界面有助于管理员和开发人员了解HDFS的状态和文件系统的结构，并帮助排查任何潜在的问题。
    在这里插入图片描述

    YARN ResourceManager Web界面：http://localhost:8088/

    YARN ResourceManager Web界面用于管理和监视YARN资源管理器，它是Hadoop的资源管理和作业调度组件。通过此界面，您可以：

    查看集群概览：了解集群中各个节点的资源使用情况、分配情况和容量。
    查看应用程序列表：监视当前运行的YARN应用程序，包括作业的状态、队列分配等信息。
    查看节点列表：查看YARN集群中的各个节点，包括节点的资源、状态和运行容器。
    查看调度器信息：了解YARN调度器的队列分配和容量配置。
    ResourceManager Web界面有助于集群管理员和作业调度员了解YARN集群的资源使用情况和应用程序状态，以便进行资源优化和作业管理。
    在这里插入图片描述

    MapReduce JobHistoryServer Web界面（如果使用MapReduce）：http://localhost:19888/

    MapReduce JobHistoryServer Web界面用于监视和管理MapReduce作业的历史信息，如果您在集群上运行MapReduce作业，这个界面会很有用。通过此界面，您可以：

    查看已完成作业：了解以前运行的MapReduce作业的状态、持续时间和输入/输出信息。
    查看作业计数器：查看作业的计数器信息，这些信息包括Map任务和Reduce任务的计数器。
    查看作业详情：获取有关每个已完成作业的详细信息，包括任务的状态和历史记录。
    JobHistoryServer Web界面允许您在作业完成后查看其历史信息，有助于性能分析和故障排除。

    在这里插入图片描述

    最后记录系统操作的所有历史命令：

        1  ls
    2  pwd
    3  cd ..
    4  ls
    5  cd home/mycentos
    6  cd home/
    7  ls
    8  cd mycentos7
    9  ls
   10  cd ..
   11  ls
   12  cd mycentos-`
   13  cd mycentos-7
   14  ls
   15  cd my_project/
   16  ls
   17  bash Anaconda3-2023.07-2-Linux-x86_64.sh -p /opt/conda/ -u
   18  conda
   19  source ~/.bashrc
   20  ls
   21  apt install vim
   22  yum install vim
   23  vim
   24  vim ~/.bashrc
   25  source ~/.bashrc
   26  conda
   27  vim ~/.bashrc
   28  source ~/.bashrc
   29  exit
   30  conda
   31  conda --version
   32  vim /etc/profile
   33  source /etc/profile
   34  exit
   35  ls
   36  python
   37  conda activate
   38  source activate
   39  python
   40  sudo mv hadoop-3.3.6 /opt/hadoop
   41  sudo
   42  vim ~/.bashrc
   43  source ~/.bashrc
   44  cd /opt/hadoop/etc/hadoop
   45  pwd
   46  ls
   47  yum install gedit
   48  gedit core-site.xml 
   49  gedit hdfs-site.xml
   50  gedit mapred-site.xml
   51  gedit yarn-site.xml
   52  hdfs namenode -format
   53  java
   54  hdfs namenode -format
   55  java -version
   56  cd # hdfs namenode -format
   57  ERROR: JAVA_HOME is not set and could not be found.
   58  [root@localhost hadoop]# java -version
   59  openjdk version "1.8.0_382"
   60  OpenJDK Runtime Environment (build 1.8.0_382-b05)
   61  OpenJDK 64-Bit Server VM (build 25.382-b05, mixed mode)
   62  which java
   63  readlink -f $(which java)
   64  vim ~/.bashrc
   65  source ~/.bashrc
   66  hdfs namenode -format
   67  vim ~/.bashrc
   68  source ~/.bashrc


    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 10
    • 11
    • 12
    • 13
    • 14
    • 15
    • 16
    • 17
    • 18
    • 19
    • 20
    • 21
    • 22
    • 23
    • 24
    • 25
    • 26
    • 27
    • 28
    • 29
    • 30
    • 31
    • 32
    • 33
    • 34
    • 35
    • 36
    • 37
    • 38
    • 39
    • 40
    • 41
    • 42
    • 43
    • 44
    • 45
    • 46
    • 47
    • 48
    • 49
    • 50
    • 51
    • 52
    • 53
    • 54
    • 55
    • 56
    • 57
    • 58
    • 59
    • 60
    • 61
    • 62
    • 63
    • 64
    • 65
    • 66
    • 67
    • 68
    • 69

    参考资料

    https://developer.aliyun.com/article/676221
    https://developer.aliyun.com/article/66204
    https://cloud.tencent.com/developer/article/1121838
    https://blog.csdn.net/klnsGenesis/article/details/124171236
    https://zhuanlan.zhihu.com/p/33978941

  • 相关阅读:
    API接口的用途以及接入示例
    MySQL主备切换
    (已导出) hyperv中的ubuntu虚拟机双网卡设置
    RabbitMQ------发布确认（单个确认、批量确认、未确认）（四）
    java线程调度
    如何在CentOS部署JumpServer堡垒机并实现无公网ip环境远程访问
    制作一个ros2机器人需要学习的课本（还不全面）
    mosquitto使用的基本流程以及一些遇见的问题
    http1.1与http2.0
    Linux常见指令总结
  • 原文地址：https://blog.csdn.net/weixin_41194129/article/details/133149058