Container killed by YARN for exceeding memory limits.
当executor的内存使用大于executor-memory与executor.memoryOverhead的加和时,Yarn会干掉这些executor
面对这一问题,有以下方案供你选择:
1.添加配置项spark.yarn.executor.memoryOverhead,令他等于512、1024、2048……,单位是M
2.增大配置项executor-memory的值
3.增大并行度
提示:我通过第一个方案解决了我的问题。
还没有评论,来说两句吧...