Container killed by YARN for exceeding memory limits.

超、凢脫俗 2022-06-16 13:46 257阅读 0赞

当executor的内存使用大于executor-memory与executor.memoryOverhead的加和时,Yarn会干掉这些executor

面对这一问题,有以下方案供你选择:

1.添加配置项spark.yarn.executor.memoryOverhead,令他等于512、1024、2048……,单位是M
2.增大配置项executor-memory的值
3.增大并行度

提示:我通过第一个方案解决了我的问题。

发表评论

表情:
评论列表 (有 0 条评论,257人围观)

还没有评论,来说两句吧...

相关阅读