跑hadoop任务时提示running beyond virtual memory limits

旧城等待， 2022-05-19 09:42 224阅读 0赞

结尾还提示：Error: java.lang.RuntimeException: PipeMapRed.waitOutputThreads(): subprocess failed with code 1

解决方法：

  1.  首先保证/usr/local/src/hadoop-2.6.1/etc/hadoop/hdfs-site.xml下<name>dfs.replication</name>是正确的。（这步好像不会影响，只要下面2步做完就行）

  1. mapred-site.xml中设置map和reduce任务的内存配置如下，将以下代码追加到mapred-site.xml中：(value中实际配置的内存需要根据自己机器内存大小及应用情况进行修改)

    1. <property>
    2. 　　<name>mapreduce.map.memory.mb</name>
    3. 　　<value>1536</value>
    4. </property>
    5. <property>
    6. 　　<name>mapreduce.map.java.opts</name>
    7. 　　<value>-Xmx1024M</value>
    8. </property>
    9. <property>
    10. 　　<name>mapreduce.reduce.memory.mb</name>
    11. 　　<value>3072</value>
    12. </property>
    13. <property>
    14. 　　<name>mapreduce.reduce.java.opts</name>
    15. 　　<value>-Xmx2560M</value>
    16. </property>
  1. 将master虚拟机内存设置为3072MB，然后hadoop集群不需要重启就可以跑成功了。

发表评论

表情：
评论列表 （有 0 条评论，224人围观）

还没有评论，来说两句吧...

相关阅读