Hadoop参数配置

Hadoop-env.sh

Java

Hadoop系统需要配置Java安装的位置

• hadoop-evn.sh文件中配置JAVA_HOME
• shell中配置JAVA_HOME环境变量

堆内存大小

默认情况下，Hadoop为各个守护进程分配了1000MB(1GB)内存。

该参数由hadoop-env.sh中HADOOP_HEAPSIZE参数控制，也可通过设置环境变量为单个守护进程修改堆大小，例如：在yarn-env.sh文件中设置YARN_RESOURCEMANAGER_HEAPSIZE，即可覆盖资源管理器的堆大小

系统日志文件

Hadoop生成的系统日志文件存放在$HADOOP_HOME/logs目录中，也可以通过hadoop-env.sh中的HADOOP_LOG_DIR来进行修改

通常可以将日志文件存放在/var/log/hadoop目录中：export HADOOP_LOG_DIR=/var/log/hadoop

若日志目录不存在，则会首先创建该目录

Hadoop的各个守护进程会产生两类日志文件

• 以.log作为后缀名：通过log4j记录的，绝大多数应用程序的日志消息都写入到该日志文件中，日志配置采用日常滚动文件追加方式来循环管理日志文件。系统不会自动删除过期的日志文件，需要人为定期手动清理
• 以.out作为后缀名：记录标准输出和标准错误日志。