xgboost 多线程，解决默认开启线程数为cpu个数问题

谁借莪１个温暖的怀抱￠ 2022-12-03 08:48 483阅读 0赞

## 环境 ##

python 3.6  
xgboost 1.0.1

## 现象 ##

在一台48c的服务器上，就import xgboost，还没进行训练，通过命令发现，线程数就达到48个  
代码：

import time
    import xgboost
    
    if __name__ == '__main__':
        print("睡眠开始")
        time.sleep(15)
        print("睡眠结束")

这里启了一个镜像，通过Linux中/proc/pid/status查询线程数

pid=`docker top fad7c792ccf35b65ddd | grep test.py | awk '{print $2}'`;cat /proc/$pid/status

查询到的线程数为48  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzODczNDMx_size_16_color_FFFFFF_t_70_pic_center]

## 原理 ##

在XGBoost里，单机多线程，并没有通过显式的pthread这样的方式来实现，而是通过OpenMP来完成多线程的处理，这可能跟XGBoost里多线程的处理逻辑相对简单，没有复杂的线程之间同步的需要，所以通过OpenMP可以支持得比较好，也简化了代码的开发和维护负担。

### OpenMP ###

OpenMP 是 Open MultiProcessing 的缩写。是一套支持跨平台共享内存方式的多线程并发的编程API。  
在项目程序已经完成好的情况下不需要大幅度的修改源代码，只需要加上专用的pragma来指明自己的意图，由此编译器可以自动将程序进行并行化，并在必要之处加入同步互斥以及通信。  
例如 `#pragma omp parallel for`

## 解决方案 ##

### omp\_num\_threads ###

对于调用OpenMP的lib编译编译成OpenMP的程序，对于加了\#pragma的代码，默认情况下会调用和你CPU内核数相同数量的线程来执行这段程序。而可以通过设置环境变量OMP\_NUM\_THREADS 来控制线程数。

python可以通过以下设置环境变量omp\_num\_threads

import os
    os.environ['OMP_NUM_THREADS'] = "1"

## xgboost多线程 ##

对于sklearn的XGBClassifier、XGBModel  
可以通过设置n\_jobs来控制线程数

对于原生的xgboost，通过nthread来控制线程数

如果没有通过OMP\_NUM\_THREADS变量来控制，那么配置了n\_jobs或者nthread，则在原有48核的基础上，再调整线程数。

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3FxXzMzODczNDMx_size_16_color_FFFFFF_t_70_pic_center]: /images/20221123/95394f777445441787d2b12333321356.png