python的socket、urlib、request指定出口网卡

古城微笑少年丶 2021-09-21 06:58 628阅读 0赞

**需求: 一台机器上有多个网卡, 如何访问指定的 URL 时使用指定的网卡发送数据呢?**

<table> 
 <tbody> 
 <tr> 
 <td> 1 </td> 
 <td> <code>$ curl </code><code>-</code><code>-</code><code>interface eth0 www.baidu.com </code><code># curl interface 可以指定网卡</code> </td> 
 </tr> 
 </tbody> 
</table>

阅读 urllib.py 的源码, 追述到 open\_http –> httplib.HTTP –> httplib.HTTP.\_connection\_class = HTTPConnection

HTTPConnection 在创建的时候会指定一个 source\_address.

HTTPConnection.connect 时调用 HTTPConnection.\_create\_connection = socket.create\_connection

可以看到en0和en1, 这两块网卡都可以访问公网. lo0是本地回环.

直接修改 socket.py 做测试.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 </td> 
 <td> <code>def</code> <code>create_connection(address, timeout</code><code>=</code><code>_GLOBAL_DEFAULT_TIMEOUT,</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>source_address</code><code>=</code><code>None</code><code>):</code> <code>&nbsp;&nbsp;</code><code>"""If *source_address* is set it must be a tuple of (host, port)</code> <code>&nbsp;&nbsp;</code><code>for the socket to bind as a source address before making the connection.</code> <code>&nbsp;&nbsp;</code><code>An host of '' or port 0 tells the OS to use the default.</code> <code>&nbsp;&nbsp;</code><code>source_address 如果设置, 必须是传递元组 (host, port), 默认是 ("", 0) </code> <code>&nbsp;&nbsp;</code><code>"""</code> &nbsp; <code>&nbsp;&nbsp;</code><code>host, port </code><code>=</code> <code>address</code> <code>&nbsp;&nbsp;</code><code>err </code><code>=</code> <code>None</code> <code>&nbsp;&nbsp;</code><code>for</code> <code>res </code><code>in</code> <code>getaddrinfo(host, port, </code><code>0</code><code>, SOCK_STREAM):</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>af, socktype, proto, canonname, sa </code><code>=</code> <code>res</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock </code><code>=</code> <code>None</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock </code><code>=</code> <code>socket(af, socktype, proto)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># sock.bind(("192.168.20.2", 0)) # en0</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># sock.bind(("192.168.8.100", 0)) # en1</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code># sock.bind(("127.0.0.1", 0)) # lo0</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>timeout </code><code>is</code> <code>not</code> <code>_GLOBAL_DEFAULT_TIMEOUT:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock.settimeout(timeout)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>source_address:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>print</code> <code>"socket bind source_address: %s"</code> <code>%</code> <code>source_address</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock.bind(source_address)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock.connect(sa)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>return</code> <code>sock</code> &nbsp; <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>except</code> <code>error as _:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>err </code><code>=</code> <code>_</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>if</code> <code>sock </code><code>is</code> <code>not</code> <code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code><code>sock.close()</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>err </code><code>is</code> <code>not</code> <code>None</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>raise</code> <code>err</code> <code>&nbsp;&nbsp;</code><code>else</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>raise</code> <code>error(</code><code>"getaddrinfo returns an empty list"</code><code>)</code> </td> 
 </tr> 
 </tbody> 
</table>

参考说明文档, 直接分三次绑定不通网卡的 IP 地址, 端口设置为0.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 </td> 
 <td> <code># 测试 en0</code> <code>$ python </code><code>-</code><code>c </code><code>'import urllib as u;print u.urlopen("<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>").read()'</code> <code>.</code><code>148.245</code><code>.</code><code>16</code> &nbsp; <code># 测试 en1</code> <code>$ python </code><code>-</code><code>c </code><code>'import urllib as u;print u.urlopen("<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>").read()'</code> <code>.</code><code>94.115</code><code>.</code><code>227</code> &nbsp; <code># 测试 lo0</code> <code>$ python </code><code>-</code><code>c </code><code>'import urllib as u;print u.urlopen("<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>").read()'</code> <code>Traceback (most recent call last):</code> <code>&nbsp;</code><code>File</code> <code>"&lt;stdin&gt;"</code><code>, line </code><code>1</code><code>, </code><code>in</code> <code>&lt;module&gt;</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>87</code><code>, </code><code>in</code> <code>urlopen</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>opener.</code><code>open</code><code>(url)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>213</code><code>, </code><code>in</code> <code>open</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>getattr</code><code>(</code><code>self</code><code>, name)(url)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>350</code><code>, </code><code>in</code> <code>open_http</code> <code>&nbsp;&nbsp;</code><code>h.endheaders(data)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>1049</code><code>, </code><code>in</code> <code>endheaders</code> <code>&nbsp;&nbsp;</code><code>self</code><code>._send_output(message_body)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>893</code><code>, </code><code>in</code> <code>_send_output</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.send(msg)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>855</code><code>, </code><code>in</code> <code>send</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.connect()</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>832</code><code>, </code><code>in</code> <code>connect</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.timeout, </code><code>self</code><code>.source_address)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/socket.py"</code><code>, line </code><code>578</code><code>, </code><code>in</code> <code>create_connection</code> <code>&nbsp;&nbsp;</code><code>raise</code> <code>err</code> <code>IOError: [Errno socket error] [Errno </code><code>49</code><code>] Can't assign requested address</code> </td> 
 </tr> 
 </tbody> 
</table>

测试通过, 说明在多网卡情况下, 创建 socket 时绑定某块网卡的 IP 就可以, 端口需要设置为0. 如果端口不设置为0, 第二次请求时, 可以看到抛异常, 端口被占用.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 </td> 
 <td> <code>Traceback (most recent call last):</code> <code>&nbsp;</code><code>File</code> <code>"&lt;stdin&gt;"</code><code>, line </code><code>1</code><code>, </code><code>in</code> <code>&lt;module&gt;</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>87</code><code>, </code><code>in</code> <code>urlopen</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>opener.</code><code>open</code><code>(url)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>213</code><code>, </code><code>in</code> <code>open</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>getattr</code><code>(</code><code>self</code><code>, name)(url)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/urllib.py"</code><code>, line </code><code>350</code><code>, </code><code>in</code> <code>open_http</code> <code>&nbsp;&nbsp;</code><code>h.endheaders(data)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>1049</code><code>, </code><code>in</code> <code>endheaders</code> <code>&nbsp;&nbsp;</code><code>self</code><code>._send_output(message_body)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>893</code><code>, </code><code>in</code> <code>_send_output</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.send(msg)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>855</code><code>, </code><code>in</code> <code>send</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.connect()</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/httplib.py"</code><code>, line </code><code>832</code><code>, </code><code>in</code> <code>connect</code> <code>&nbsp;&nbsp;</code><code>self</code><code>.timeout, </code><code>self</code><code>.source_address)</code> <code>&nbsp;</code><code>File</code> <code>"/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/socket.py"</code><code>, line </code><code>577</code><code>, </code><code>in</code> <code>create_connection</code> <code>&nbsp;&nbsp;</code><code>raise</code> <code>err</code> <code>IOError: [Errno socket error] [Errno </code><code>48</code><code>] Address already </code><code>in</code> <code>use</code> </td> 
 </tr> 
 </tbody> 
</table>

如果是在项目中, 只需要把 socket.create\_connection 这个函数的形参 source\_address 设置为对应网卡的 (IP, 0) 就可以.

通过测试, 可以发现已经可以通过制定的网卡发送数据, 并且 IP 地址对应网卡分配的 IP.

问题, 爬虫经常使用 requests, requests 是否支持呢. 通过测试, 可以发现, requests 并没有使用 python 内置的 socket 模块.

看源码, requests 是如果创建的 socket 连接呢. 方法和查看 urllib 创建socket 的方式一样. 具体就不写了.

因为我用的是 python 2.7, 所以可以定位到 requests 使用的 socket 模块是 urllib3.utils.connection 的.

修改方法和 urllib 相差不大.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 </td> 
 <td> <code>import</code> <code>urllib3.connection</code> <code>_create_socket </code><code>=</code> <code>urllib3.connection.connection.create_connection</code> <code># pass</code> &nbsp; <code>urllib3.connection.connection.create_connection </code><code>=</code> <code>create_connection</code> <code># pass</code> </td> 
 </tr> 
 </tbody> 
</table>

运行后, 可能会抛出异常. requests.exceptions.ConnectionError: Max retries exceeded with .. Invalid argument

这个异常不是每次出现, 跟 IP 段有关系, 跳转递归层数太多导致, 只需要将 kwargs 中的 socket\_options去掉即可. 127.0.0.1肯定会出异常.

<table> 
 <tbody> 
 <tr> 
 <td> 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 </td> 
 <td> <code>import</code> <code>socket</code> <code>import</code> <code>urllib</code> <code>import</code> <code>urllib2</code> <code>import</code> <code>urllib3.connection</code> &nbsp; <code>import</code> <code>requests as req</code> &nbsp; <code>_default_create_socket </code><code>=</code> <code>socket.create_connection</code> <code>_urllib3_create_socket </code><code>=</code> <code>urllib3.connection.connection.create_connection</code> &nbsp; &nbsp; <code>SOURCE_ADDRESS </code><code>=</code> <code>(</code><code>"127.0.0.1"</code><code>, </code><code>0</code><code>)</code> <code>#SOURCE_ADDRESS = ("172.28.153.121", 0)</code> <code>#SOURCE_ADDRESS = ("172.16.30.41", 0)</code> &nbsp; <code>def</code> <code>default_create_connection(</code><code>*</code><code>args, </code><code>*</code><code>*</code><code>kwargs):</code> <code>&nbsp;&nbsp;</code><code>try</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>del</code> <code>kwargs[</code><code>"socket_options"</code><code>]</code> <code>&nbsp;&nbsp;</code><code>except</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>pass</code> <code>&nbsp;&nbsp;</code><code>in_args </code><code>=</code> <code>False</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>len</code><code>(args) &gt;</code><code>=</code><code>3</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args </code><code>=</code> <code>list</code><code>(args)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args[</code><code>2</code><code>] </code><code>=</code> <code>SOURCE_ADDRESS</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args </code><code>=</code> <code>tuple</code><code>(args)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>in_args </code><code>=</code> <code>True</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>not</code> <code>in_args:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>kwargs[</code><code>"source_address"</code><code>] </code><code>=</code> <code>SOURCE_ADDRESS</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>"args"</code><code>, args</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>"kwargs"</code><code>, </code><code>str</code><code>(kwargs)</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>_default_create_socket(</code><code>*</code><code>args, </code><code>*</code><code>*</code><code>kwargs)</code> &nbsp; <code>def</code> <code>urllib3_create_connection(</code><code>*</code><code>args, </code><code>*</code><code>*</code><code>kwargs):</code> <code>&nbsp;&nbsp;</code><code>in_args </code><code>=</code> <code>False</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>len</code><code>(args) &gt;</code><code>=</code><code>3</code><code>:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args </code><code>=</code> <code>list</code><code>(args)</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args[</code><code>2</code><code>] </code><code>=</code> <code>SOURCE_ADDRESS</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>in_args </code><code>=</code> <code>True</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>args </code><code>=</code> <code>tuple</code><code>(args)</code> <code>&nbsp;&nbsp;</code><code>if</code> <code>not</code> <code>in_args:</code> <code>&nbsp;&nbsp;&nbsp;&nbsp;</code><code>kwargs[</code><code>"source_address"</code><code>] </code><code>=</code> <code>SOURCE_ADDRESS</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>"args"</code><code>, args</code> <code>&nbsp;&nbsp;</code><code>print</code> <code>"kwargs"</code><code>, </code><code>str</code><code>(kwargs)</code> <code>&nbsp;&nbsp;</code><code>return</code> <code>_urllib3_create_socket(</code><code>*</code><code>args, </code><code>*</code><code>*</code><code>kwargs)</code> &nbsp; <code>socket.create_connection </code><code>=</code> <code>default_create_connection</code> <code># 因为偶尔会出问题, 所以使用默认的 socket.create_connection</code> <code># urllib3.connection.connection.create_connection = urllib3_create_connection</code> <code>urllib3.connection.connection.create_connection </code><code>=</code> <code>default_create_connection</code> &nbsp; <code>print</code> <code>" *** test requests: "</code> <code>+</code> <code>req.get(</code><code>"<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>"</code><code>).content</code> <code>print</code> <code>" *** test urllib: "</code> <code>+</code> <code>urllib.urlopen(</code><code>"<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>"</code><code>).read()</code> <code>print</code> <code>" *** test urllib2: "</code> <code>+</code> <code>urllib2.urlopen(</code><code>"<a href="http://ip.haschek.at/" rel="nofollow">http://ip.haschek.at</a>"</code><code>).read()</code> </td> 
 </tr> 
 </tbody> 
</table>

**注意: **使用 urllib3.utils.connection 好像不起作用

稍微再完善一下, 就是把根据网卡名自动获取 IP.

只需要把 args\[2\] = SOURCE\_ADDRESS 和 kwargs\["source\_address"\] = SOURCE\_ADDRESS改成 random\_local\_ip() 或者 get\_local\_ip("eth0")