在Ubuntu 14.04 64bit上编译并研究State Threads网络线程库源码

青旅半醒 2022-08-08 12:45 106阅读 0赞

State Threads是一个广受关注的高性能网络线程库，winlin在SRS中做了比较充分的应用，我很遗憾直到现在才精心研究它。下面是我的研究实录，以作备忘。

一、源码编译

下面是在Ubuntu 14.04 64bit上面的实操记录：

从官网 [http://sourceforge.net/projects/state-threads/][http_sourceforge.net_projects_state-threads]下载源码包，最新版是1.9，如果不能下载，就从github上下载fork版本

[https://github.com/toffaletti/state-threads][https_github.com_toffaletti_state-threads]

下载完st-1.9.tar.gz，然后解压

tar zxvf st-1.9.tar.gz

cd st-1.9

make linux-debug

然后会得到obj目录。里面有生成的中间文件\*.o, 头文件st.h，libst.so，libst.a和example中的几个例子：lookupdns，proxy，server等

下面我们在example中创建一个huge\_threads.c并编译。这个例子来自winlin文章中提供的.

//gcc -I../obj -g huge_threads.c ../obj/libst.a -o huge_threads
    //./huge_threads 10000
    //./huge_threads 30000
    //
    
    #include <stdio.h>
    #include "st.h"
    
    #define SLEEP_INTERVAL 30  //in ms
    
    void* do_calc(void* arg){
        long pidx = *(long*)arg;
        for(;;){
            printf("sthread [#%ld] usleep\n", pidx);
            st_usleep(SLEEP_INTERVAL * 1000);
        }
        return NULL;
    }
    
    int main(int argc, char** argv){
        if(argc <= 1){
            printf("Test the concurrence of state-threads!\n"
                "Usage: %s <sthread_count>\n"
                "eg. %s 10000\n", argv[0], argv[0]);
            return -1;
        }
    
        if(st_init() < 0){
            printf("state threads lib runtime init error!");
            return -1;
        }
    
        int i, count = atoi(argv[1]);
        for(i = 1; i <= count; i++){
            if(st_thread_create(do_calc, (void*)&i, 0, 0) == NULL){
                printf("create state thread %d failed\n", i);
                return -1;
            }
        }
    
        st_thread_exit(NULL);
        return 0;
    }

编译

gcc -I../obj -g huge\_threads.c ../obj/libst.a  -o huge\_threads

运行

./huge\_threads 10000

运行过程中，利用top查看程序性能，按ctrl+C中断

注意st.h是动态生成的，这种方法值得学习

二、doc目录研究

在st-1.9源码中doc目录有几个文档，可以参考

st.html  ST库概论，winlin翻译的那篇文章

timeout\_heap.txt  超时heap实现

notes.html  给出了编程注意点，包括移植，信号，进程内同步，进程间同步，非网络IO，超时处理，特别谈到进程内同步非常简单，不需要同步资源；非网络IO中谈到drawback和设计时需要避免的方法

reference.html  一个API接口文档介绍，需要认真阅读和熟悉，但是需要编码实战来加深理解

st\_set\_eventsys() 设置事件通知机制event notification mechanism，在st\_init()之前调用, 建议优先选用ST\_EVENTSYS\_ALT，它会使用epoll，然后才是ST\_EVENT\_DEFAULT

st\_get\_eventsys\_name() 得到State thread库当前使用的时间通知机制名称，可能返回值是select，poll，kequeue，或epoll

st  \_set\_switch\_in\_cb(st\_switch\_cb\_t cb) 设置thread被resume时的回调函数，默认NULL

st\_set\_switch\_out\_cb(st\_switch\_cb\_t cb) 设置thread被stop时的回调函数，默认NULL

st\_randomize\_stacks() 打开或关闭stack base address randomization，打开会提高性能，避免所有线程的stack是page aligned，而是随机生成的

st\_key\_create() 为进程内的所有线程创建一个非负整数的key，以便去set和get thread-specific data，所有线程的key是一样的但是存放的私有数据不同

st\_thread\_setspecific() 设置每个线程自己的私有数据，不同的线程可以对这个相同的key bindig不同的值

set\_timecache\_set() 将time caching打开或是关闭， ST库能够缓存time()库函数报告的值，如果是realtime time应用，建议不要开启该功能

set\_time() 返回1970\*\*以来的秒数

set\_netfd\_free() free file descriiptor但是不closing所在的os file descriptor

st\_readv() 从指定文件描述符读数据到multiple buffers中

最重要的是末尾的Program Structure，给出了 在 一个网络应用程序中使用ST库的基本步骤：

1.假如愿意，使用下面的pre-init函数配置ST库，设置时间，事件通知机制

2.调用st\_init()来初始化ST库

3.假如愿意，调用post-init函数来配置ST库，设置timecache，随机化线程栈，进程resume和stop的回调函数

4.生成不同process之间共享的资源，创建并绑定socket，打开socket，生成共享内存段，IPC channel和同步原语primitives

5.创建多进程，fork(), 父进程退出或是watchdog

6.在子进程中创建thread pool来处理user connection，线程池中的每个线程可以accept client connection，connect到其他服务器，执行各种network I/O等等

每个process的每个socket的空闲线程spare thread的最大个数默认为8， server一启动就创建线程池，它是最大空闲线程个数，线程池可以增长到最大线程个数，也可以限制总线程个数，而非针对每个listening socket

注意：只有ST库的I/O函数可以用于 network I/O，其他的I/O calls都可能阻塞调用进程

三、example目录

下面研究example目录下面的3个例子

首先阅读里面的README，它简单介绍了这三个例子的基本情况和用法

server 包含server.c和error.c

lookupdns 包含lookupdns.c和res.c

proxy 包含proxy.c

1.server.c程序分析：

General server example, accept a client connection and just outputs a short html page

先定义进程数组，个数是  vp\_count，是当前CPU的core数，这样能充分利用CPU多核能力，再定义listening socket数组  srv\_socket\[\]，个数是  sk\_count，再定义其上每个srv\_socket的wait for thread和busing thread个数。每个进程一个线程池在运转，都在独立地运行

在每个process中启动线程数时，先创建access log flushing thread，它的职责是定期(配置为30s)写日志，然后是建立connection handling threads，它的职责是首先保存连接双方的ip和port，不管对方发的啥，闷头就向对方发送一个"It worked！"的html页面，  然后关闭该tcp连接，参见线程函数handle\_connections，它调用handle\_session()

在创建socket并绑定侦听时，ST的socket fd是使用st\_netfd\_open\_socket(sock)得到的，就是在该sock上面得到的。

在C/S交互过程中，使用到线程私有数据方法来保存listening socket index和client的sockaddr

整个程序的架构值得我们借鉴。

![Center][]

程序使用方法

./server  -l ./          指定访问日志目录，必须指定，下面都是可选参数

-b 127.0.0.1:8000 binding and listening sockets对数，否则使用0.0.0.0：8000代替

-p  8         生成进程个数，默认按照CPU内核个数定

-t   2:10    每个listening socket上的thread limits

-u  taoyx   指定运行该程序的user名，据此找出其group名和user名

-q   1000   待处理连接队列的长度

-a              启用访问日志记录

-i               以互动模式运行吗？否则以daemon守护进程运行。互动模式不记录日志信息，建议命令行调试时使用

-S              Serialize all accept() calls，依据平台来确定

-h              print usage info

![Center 1][]

为了简单，我直接使用默认命令打开

./server -l ./

![Center 2][]

下面使用curl作为客户端来测试

curl -vx 127.0.0.1:8000 -o a.html "http://news.sohu.com"

![Center 3][]

服务器返回的固定page内容如下

![Center 4][]

通过发送信号来研究进程的行为

使用kill -l来列出所有的信号编码表，我们这里只需要使用到SIGHUP(1), SIGUSR1(10), SIGTERM(15)

![Center 5][]

kill  -10   4044    dump info打印当前各进程的侦听端口，线程池线程情况，请求信息

![Center 6][]

kill -1 4044  重启进程，重读配置文件

kill -15 4044 终止进程，让程序退出

这两种方式在命令行没有结果显示，只能从日志文件error中看出响应细节

![Center 7][]

2.res.c分析

\_res从哪儿来的？

dns\_getaddr() ==>query\_domain()==> res\_mkquery() ==> dn\_skipname(), dn\_expand(),

||==>parse\_answer()

lookupdns.c分析

异步host name解析，一个host name对应一个ST线程，所有的线程都是并发的，查询成功后打印出host name和对应的ip地址

使用方法

./lookupdns [www.baidu.com][] news.sohu.com new.sina.com.cn  [www.ifeng.com][] v.youku.com

![Center 8][]

源码分析

main() ==> do\_resolve() ==>dns\_getaddr() ==> 引用res.c中的函数

3.proxy.c分析

该程序充当一个普通的gateway，它在本地地址监听， 一接收到client connection，就连接到指定的远端地址，获取响应，不加修改地转发给client

使用方法

\-l  127.0.0.1：8086    本地侦听的ip和port

\-r  1.2.3.4: 80              远程连接的ip和port, 如果不是点分十进制

\-p  8                           并行进程个数，如果不指定，默认使用CPU的内核数

\-S                               serialize accept

\-a                               使用alternate备用的事件通知机制，比如 epoll，它会调用ST\_EVENTSYS\_ALT设置st\_set\_eventsys(ST\_EVENTSYS\_ALT)

\-t  mask                     测试或调试模式，掩码为1，4，8，16，这里选择1，打印所有信息

\-X                               只用一个进程，不使用守护进程方式

![Center 9][]

使用下面的命令启动

./proxy -l 127.0.0.1:8086 -r news.sohu.com:80 -t 1

![Center 10][]

我们看到会分别起4个进程独立工作，这样停止这些线程比较麻烦，只能手动kill掉各个进程

kil -9 13458

kil -9 13459

kil -9 13460

kil -9 13461

现在使用curl做客户端测试

curl -vx 127.0.0.1:8086 -o sohu.html "http://news.sohu.com"

![Center 11][]

得到的网页可以在chrome中正常打开

![Center 12][]

可见代理功能是完备的。另外我们可以设置mask的不同值来研究st\_write\_resid等接口函数的用法。

深入调研工作

1.dns查找是如何实现的？

参考链接

\[1\].[http://blog.csdn.net/win\_lin/article/details/8242653][http_blog.csdn.net_win_lin_article_details_8242653]  winlin的译文，不错，原文在源码doc目录中

\[2\].[http://www.obroot.com/state-threads-for-internet-applications/?utm\_source=tuicool][http_www.obroot.com_state-threads-for-internet-applications_utm_source_tuicool]   另一篇中文翻译，不错

\[3\].[https://github.com/winlinvip/state-threads][https_github.com_winlinvip_state-threads]                winlin移植精简版本

\[4\].[http://sourceforge.net/projects/state-threads/][http_sourceforge.net_projects_state-threads]   state-threads官网源码

\[5\].[http://coolshell.cn/articles/12012.html][http_coolshell.cn_articles_12012.html]              不可多得的心得荟萃

[http_sourceforge.net_projects_state-threads]: http://sourceforge.net/projects/state-threads/
[https_github.com_toffaletti_state-threads]: https://github.com/toffaletti/state-threads
[Center]: /images/20220805/5bb14c0d7d594b4c925026986b796f60.png
[Center 1]: /images/20220805/27d4673961994f45bcc147bbc3dc9561.png
[Center 2]: /images/20220805/897065a32fa0450bb7bb71dce036fda3.png
[Center 3]: /images/20220805/8687fa933d014d3695f7612a8f7550c2.png
[Center 4]: /images/20220805/8e3a67b210324f1891a815b87cc89c2b.png
[Center 5]: /images/20220805/fa163a142c0b48d4a86ca543663c2c52.png
[Center 6]: /images/20220805/87a3eb6fd7ce4c26a2ff2533d6798626.png
[Center 7]: /images/20220805/dc728c0a793c4361b770e3e5b4416f8c.png
[www.baidu.com]: http://www.baidu.com/
[www.ifeng.com]: http://www.ifeng.com/
[Center 8]: /images/20220805/8ff0f92441384fb5a789cb133f67fcda.png
[Center 9]: /images/20220805/57d303f5caf6424d85650029d4e5dc2c.png
[Center 10]: /images/20220805/aafc62f2b71a443685170bce95541828.png
[Center 11]: /images/20220805/6845432f257547c1b50619bf6c3375ac.png
[Center 12]: /images/20220805/0115ffdbd83a435098e7ba7c7b917e91.png
[http_blog.csdn.net_win_lin_article_details_8242653]: http://blog.csdn.net/win_lin/article/details/8242653
[http_www.obroot.com_state-threads-for-internet-applications_utm_source_tuicool]: http://www.obroot.com/state-threads-for-internet-applications/?utm_source=tuicool
[https_github.com_winlinvip_state-threads]: https://github.com/winlinvip/state-threads
[http_coolshell.cn_articles_12012.html]: http://coolshell.cn/articles/12012.html