Container is running beyond memory limits

问题

Hadoop环境中，执行MapReduce程序或者Hive 任务时候，任务执行失败，提示内存不足。

Container is running 337869312B beyond the VIRTUAL’ memory limit.Current usage:295.8 NB of 1 GB physical memoryused;2.4 GB of 2.1 GB virtual memory used. Killing container.”

解决

1. 修改 mapred-site.xml文件

 <property>
   <name>mapreduce.map.memory.mbname>
   <value>4096value>
 property>
 <property>
   <name>mapreduce.reduce.memory.mbname>
   <value>4096value>
 property>
1
2
3
4
5
6
7
8

2. 修改 yarn-site.xml文件
   将yarn的memory-mb设置为虚拟机内存的75%，如：8192*0.75=6144

     <property>
       <name>yarn.nodemanager.resource.memory-mbname>
       <value>6144value>
   property>
1
2
3
4

然后重启Hadoop。

参考 stackover beyond memmory , 文章中也包含其他方法。