生产环境调优YARN Container参数

梦里梦外; 2023-07-12 09:26 6阅读 0赞

##      Container是nodemanager虚拟出来的容器，用来运行task任务的，调优维度是**memory+vcore** ##

如何优化Container参数？？假设128G,16个物理core的服务器

![watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70][]

1、装完Centos，消耗内存1G

2、系统预留15%-20%内存（大概26G,其中包含Centos系统占用的1G内存），用来防止全部使用导致系统夯住和oom机制，或者给未来部署组件预留点空间。

3、假设该服务器上只有**DataNode**,**NodeManager**节点，余下内存128G-26G=102G

1）DataNode大概分配2G

2）NodeManager分配4G

3）**Container内存分配**：

> 减掉DataNode和NodeManger，还剩余102G-2G-4G=96G，极限情况下服务器剩下的内存全部分给nodemanager:96G
> 
> 配置参数：
> 
>      yarn.nodemanager.resource.memory-mb=96G
> 
>         最大分配内存和最小分配内存
>         yarn.scheduler.maximum-allocation-mb=96G,极限情况下，只有1个container，内存96G
>         yarn.scheduler.minimum-allocation-mb=1G,极限情况下，只有96个container,每个内存1G
> 
> 其中contanier的内存会自动增加，默认是1G的递增，contanier的数量是1-96个。

4）**Contanier虚拟核**:

>     默认服务器物理核和虚拟核的比例是1:2,16个物理core的服务器也就是拥有32虚拟核32vcore
> 
> 1:2的配置参数：
> 
>      yarn.nodemanager.resource.pcores-vcores-multiplier=2
> 
> 极限情况下物理核全部分给nodemanager,也就是32Vcore,配置参数：
> 
>     yarn.nodemanager.resource.cpu-vcores=32
> 
> 分配vcore和最大分配vcore配置：
> 
>     yarn.scheduler.minimum-allocation-vcores=1,极限情况下，只有32个container,
>     yarn.scheduler.maximum-allocation-vcores=32,极限情况下，只有1个container,
> 
>      所以container数量是1-32个。
> 
> 官方建议，cloudera公司推荐，一个container的vcore最好不要超过5,那么设置4，所以极限情况下，32/4=8，只有8个container
> 
>     yarn.scheduler.maximum-allocation-vcores=4
> 
> 综合memory+vcore计算确定vocre=4,container为8个，内存分配
> 
>     yarn.nodemanager.resource.memory-mb=96G
>     yarn.scheduler.minimum-allocation-mb=1G
>     yarn.scheduler.maximum-allocation-mb=12G
>     极限情况下8个container,96G/8=12G
> 
> 不过当spark计算时内存不够大，这个参数肯定要调大，那么这种理想化的设置个数必然要打破，以memory为主(但是正常情况下12G是够用了)，
> 
>     根据内存设置参数
>     yarn.nodemanager.resource.memory-mb =96G
>     yarn.scheduler.minimum-allocation-mb=1G
>     yarn.scheduler.maximum-allocation-mb=8G
>     就是12个container ，vcore为12*2=24
> 
>     根据vocre设置参数
>     yarn.nodemanager.resource.cpu-vcores =32
>     yarn.scheduler.minimum-allocation-vcores =1
>     yarn.scheduler.maximum-allocation-vcores =2
> 
> *16 个container，内存占用16*8g=128G超过resource资源的总内存，所以根据内存为主导设置参数  
> vcore是yarn自己引入的，设计初衷是考虑不同节点的CPU的性能不一样，每个CPU的计算能力不一样。比如某个物理CPU是另外一个物理CPU的2倍，这时通过设置第一个物理CPU的虚拟core来弥补这种差异（当期节点的xml去设置该参数），不过一般不会存在这种问题，因为选机器不可能选不一样的。

*例如：*

1.  假如 256G内存 56core，请问参数如何设置？  
    256\**20%=25.6G ==52G,剩余256-52-2-4=198G  
    yarn.nodemanager.resource.memory-mb=198G  
    yarn.scheduler.minimum-allocation-mb=1G  
    yarn.scheduler.maximum-allocation-mb=7G  
    28个container 28*7G=196G  
    yarn.nodemanager.resource.cpu-vcores=112  
    yarn.scheduler.minimum-allocation-vcores=1  
    yarn.scheduler.maximum-allocation-vcores=4
2.  加入该节点还有其他的组件，比如hbase和regionserver进程，那么该如何设置  
    hbase regionserver占用内存30G,nodemanager这种内存：96G-30G=66G

生产配置：yarn-site.xml

<property>
    		<name>yarn.nodemanager.resource.memory-mb</name>
    		<value>2048</value>
    	</property>
    	<property>
    		<name>yarn.scheduler.minimum-allocation-mb</name>
    		<value>1024</value>
    		<discription>单个任务可申请最少内存，默认1024MB</discription>
    	 </property>
    
      
      <property>
    	<name>yarn.scheduler.maximum-allocation-mb</name>
    	<value>2048</value>
    	<discription>单个任务可申请最大内存，默认8192MB</discription>
      </property>
    
       <property>
           <name>yarn.nodemanager.resource.cpu-vcores</name>
           <value>2</value>
        </property>

\--------------------------

用人品去感动别人，用行动去带动别人，用阳光去照耀别人，用坚持去赢得别人，要求自己每天都去做与目标有关的事情，哪怕每天只进步一点点，坚持下来你就是最优秀卓越的！欢迎大家加入大数据qq交流群：725967421     一起交流，一起进步！！  
\--------------------------

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA_size_16_color_FFFFFF_t_70]: https://img-blog.csdnimg.cn/20200308120907781.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2N6ejExNDE5Nzk1NzA=,size_16,color_FFFFFF,t_70