搭建Hadoop集群 并实现hdfs上的crud操作

搭建Hadoop集群需要以下步骤：

1. 安装Java环境和Hadoop软件包

在所有节点上安装Java环境和Hadoop软件包；

以下是详细的步骤：

在所有节点上安装Java环境和Hadoop软件包。如果您使用的是Ubuntu，可以使用以下命令安装Java环境和Hadoop软件包：

sudo apt-get update
sudo apt-get install default-jdk
sudo apt-get install hadoop
1
2
3

2. 配置Hadoop集群

在每个节点上配置Hadoop的相关配置文件（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh等文件）；

在每个节点上配置Hadoop的相关配置文件（core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml、hadoop-env.sh等文件）。以下是一个示例配置文件：

core-site.xml：

    
        fs.defaultFS
        hdfs://localhost:9000
    

1
2
3
4
5
6

hdfs-site.xml：

    
        dfs.replication
        3
    
    
        dfs.namenode.name.dir
        /home/hadoop/hdfs/namenode
    
    
        dfs.datanode.data.dir
        /home/hadoop/hdfs/datanode
    

1
2
3
4
5
6
7
8
9
10
11
12
13
14

mapred-site.xml：

    
        mapreduce.framework.name
        yarn
    

1
2
3
4
5
6

yarn-site.xml：

    
        yarn.nodemanager.aux-services
        mapreduce_shuffle
    
    
        yarn.nodemanager.aux-services.mapreduce.shuffle.class
        org.apache.hadoop.mapred.ShuffleHandler
    

1
2
3
4
5
6
7
8
9
10

hadoop-env.sh：

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export HADOOP_HOME=/usr/share/hadoop
export HADOOP_CONF_DIR=/etc/hadoop
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
1
2
3
4
5
6
7

3. 启动Hadoop集群

在NameNode节点上启动HDFS服务和YARN服务，然后在其他节点上启动DataNode和NodeManager服务；

在NameNode节点上启动HDFS服务和YARN服务，然后在其他节点上启动DataNode和NodeManager服务。先格式化HDFS：

hadoop namenode -format
1

然后启动HDFS和YARN：

start-dfs.sh
start-yarn.sh
1
2

在其他节点上启动DataNode和NodeManager：

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
1
2

4. 创建HDFS目录

使用Hadoop fs命令创建HDFS目录；

使用Hadoop fs命令创建HDFS目录。例如：

hadoop fs -mkdir /user
hadoop fs -mkdir /user/hadoop
1
2

5. 上传文件到HDFS

使用Hadoop fs命令将文件上传到HDFS；

使用Hadoop fs命令将文件上传到HDFS。例如：

hadoop fs -put /path/to/local/file /user/hadoop/
1

6. 从HDFS下载文件

使用Hadoop fs命令从HDFS下载文件；

使用Hadoop fs命令从HDFS下载文件。例如：

hadoop fs -get /user/hadoop/file /path/to/local/
1

7. 在HDFS上删除文件

使用Hadoop fs命令在HDFS上删除文件。

使用Hadoop fs命令在HDFS上删除文件。例如：

hadoop fs -rm /user/hadoop/file
1

完成以上步骤后，您可以在Hadoop集群上进行文件的CRUD操作了。