淘宝IP地址库采集

淡淡的烟草味﹌ 2022-07-17 04:42 193阅读 0赞

作者:阿宝　  
更新:2016-08-31　  
来源:彩色世界([https://blog.hz601.org/2016/08/31/taobao-ip-sniffer/index.html][https_blog.hz601.org_2016_08_31_taobao-ip-sniffer_index.html])

## 简述 ##

当初选择做这么一个项目，不是为了拷贝一份库自己做服务，也不是为了其他目的，只是单纯的熟悉关于http和mysql方面的知识。  
下面言归正传。

## 淘宝IP地址库简介 ##

此地址库可以根据用户提供的IP地址，快速查询出该IP地址所在的地理信息和地理相关的信息，包括国家、省、市和运营商。用户也可以主动提交信息来纠错。

主要优势表现为：  
（1）地域  
覆盖度：94.54% 精确到市级  
准确度：96.5% 精确到市级  
（2）运营商  
覆盖度：93.8%  
准确度：暂无统计数据  
（3）查询速度  
10qps  
注：阿里同机房内网，实测速度为4qps左右。  
（4）接口  
符合REST规范，方便扩展；  
使用JSON作为数据格式，方便使用；

## 基础数据结构 ##

下面介绍一下，需要使用到的一些基础数据项，以及来源。  
首先，我们来分析一下淘宝IP地址库的返回数据，

{
    “code” : 0,                              // 请求成功/失败
    "data" : {
    “country” : “\u4e2d\u56fd”,     // 国家
    "country_id" : “CN”,                // 国家代码
    "area" : “\u534e\u5317”,         // 地区
    "area_id" : “100000”,               // 地区代码
    "region" : “\u5317\u4eac\u5e02”,   // 省（自治区、直辖市、特别行政区）
    “region_id” : “110000”,                  // 省代码
    "city" : “\u5317\u4eac\u5e02”,       // 市（地区、自治州、盟及国家直辖市所属市辖区和县）
    “city_id” : “110000”,                      // 市代码
    "county" : “”,                               // 县（市辖区、县级市、旗）
    “county_id” : “-1”,                        // 县代码
    "isp" : “\u4e2d\u56fd\u79d1\u6280\u7f51”,   // 运营商
    "isp_id" : “1000114”,                                    // 运营商代码
    "ip" : “210.75.225.254”                                 // ipv4/ipv6
    }
    }

其中：  
国家与国家代码，由联合国统计局统一制定。详见：[http://zh.wikipedia.org/wiki/ISO\_3166-1][http_zh.wikipedia.org_wiki_ISO_3166-1]  
地区、省、市、县以及相应的代码，由中华人民共和国国家统计局统一制定，详见：[http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116\_501070.html][http_www.stats.gov.cn_tjsj_tjbz_xzqhdm_201401_t20140116_501070.html]

运营商与运营商代码，由国际电联电信标准化部门统一制定，不过已经很久没有维护，不可用。到目前为止，本人也没有找到一份完整的编码表，希望知晓者告知。暂且就以淘宝IP地址库中编码为准。

国家IP地址段，由互联网IP地址分配中心统一管理，在此附上中文版的地址段信息，详见程默的博客，在此表示感谢：[http://ipblock.chacuo.net/][http_ipblock.chacuo.net]

## 数据库设计 ##

### 数据项及命名 ###

国家 country  
地区 region  
省（自治区、直辖市、特别行政区） province  
市（地区、自治州、盟及国家直辖市所属市辖区和县） city  
县（市辖区、县级市、旗） county  
镇（乡、城镇） town  
村（村庄） village  
运营商 isp  
IP ip

### IP表 ###

国家代码 2个字节 CHAR(2)  
县代码 6位整形 UINT(20)  
村代码 12位整形 UINT(40)  
运营商代码 7位整形 UINT(24)  
IP地址 4个字节 UINT(32)

### 国家表 ###

二位字母 2个字节 CHAR(2)  
三位字母 3个字节 CHAR(3)  
三位数字 3位整形 UINT(10)  
ISO英文用名 48个字节 CHAR(48)  
中文用名 48个字节 CHAR(48)

### 地区表 ###

代码 1位整形 UINT(4)  
名称 4个字节 CHAR(4)

### 县（市辖区、县级市、旗）表 ###

代码 6位整形 UINT(20)  
名称 48个字节 CHAR(48)

### 村（村庄）表 ###

代码 12位整形 UINT(40)  
名称 48个字节 CHAR(48)

### 运营商表 ###

代码 7位整形 UINT(24)  
名称 48个字节 CHAR(48)

## 数据采集 ##

IP运营商信息来源于各个运营商，IP所属地域信息来源于CNNIC，不过这些信息不太容易拿到完整的。  
所以，此处就以淘宝IP地址库为来源。

## 实现方案 ##

使用 nodejs + python 实现，nodejs主要实现网络交互集中的部分，python主要实现网页抓取。数据库使用常见的 mysql。

### 国家代码抓取 ###

使用 python 实现从 [http://zh.wikipedia.org/wiki/ISO\_3166-1][http_zh.wikipedia.org_wiki_ISO_3166-1] 地址抓取代码信息，并保存文本country.txt。当然，也可以直接手动拷贝粘贴到文本中。  
使用 nodejs 按行读取上一步抓取到的文本，做处理，使用 node-mysql 写入数据库。

### 县代码抓取 ###

使用 python 实现从 [http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116\_501070.html][http_www.stats.gov.cn_tjsj_tjbz_xzqhdm_201401_t20140116_501070.html] 地址抓取代码信息，并保存文本cncounty.txt。当然，也可以直接手动拷贝粘贴到文本中。  
使用 nodejs 按行读取上一步抓取到的文本，做处理，使用 node-mysql 写入数据库。

### 国内IP段抓取 ###

使用 python 实现从 [http://ipblock.chacuo.net/][http_ipblock.chacuo.net] 地址抓取IP段信息，并保存文本cnip.txt。当然，也可以直接手动拷贝粘贴到文本中。

### IP地址信息查询 ###

使用 nodejs 读取 cnip.txt 文本，每次解析10000个IP，使用 http 模块从淘宝IP地址库查询结果，并使用 node-mysql 写入数据库。  
由于在 nodejs 中 http 处理和 mysql 处理都是异步操作，所以，增加一个缓冲区，保存http请求结果。笔者使用了经典的生产者消费者模型来处理这个问题。

## 结果 ##

为了保证请求的稳定，使用阿里云服务器运行此系统。  
实际运行时，每秒可以稳定的请求到5个IP信息，中国目前（截止2014年1月）拥有3.3亿IP，完成全部请求大约需要2.98天。  
完成全部存储，数据库大小为22.3GB。

**工具推荐**  
1.软件开发必备翻墙代理，低延迟(50ms)，月费10元，详询（宝哥儿QQ1066690060）请自觉遵守国家法律法规

[https_blog.hz601.org_2016_08_31_taobao-ip-sniffer_index.html]: https://blog.hz601.org/2016/08/31/taobao-ip-sniffer/index.html
[http_zh.wikipedia.org_wiki_ISO_3166-1]: http://zh.wikipedia.org/wiki/ISO_3166-1
[http_www.stats.gov.cn_tjsj_tjbz_xzqhdm_201401_t20140116_501070.html]: http://www.stats.gov.cn/tjsj/tjbz/xzqhdm/201401/t20140116_501070.html
[http_ipblock.chacuo.net]: http://ipblock.chacuo.net/