python多线程爬取图片

迈不过友情╰ 2022-08-13 13:52 306阅读 0赞

1.  创建一个 Queue.Queue() 的实例，然后使用数据对它进行填充。
2.  将经过填充数据的实例传递给线程类，后者是通过继承 threading.Thread 的方式创建的。
3.  生成守护线程池。
4.  每次从队列中取出一个项目，并使用该线程中的数据和 run 方法以执行相应的工作。
5.  在完成这项工作之后，使用 queue.task\_done() 函数向任务已经完成的队列发送一个信号。
6.  [?][Link 1]
    
    <table> 
     <tbody> 
      <tr> 
       <td> 
        <div>
          1 
        </div> 
        <div>
          2 
        </div> 
        <div>
          3 
        </div> 
        <div>
          4 
        </div> 
        <div>
          5 
        </div> 
        <div>
          6 
        </div> 
        <div>
          7 
        </div> 
        <div>
          8 
        </div> 
        <div>
          9 
        </div> 
        <div>
          10 
        </div> 
        <div>
          11 
        </div> 
        <div>
          12 
        </div> 
        <div>
          13 
        </div> 
        <div>
          14 
        </div> 
        <div>
          15 
        </div> 
        <div>
          16 
        </div> 
        <div>
          17 
        </div> 
        <div>
          18 
        </div> 
        <div>
          19 
        </div> 
        <div>
          20 
        </div> 
        <div>
          21 
        </div> 
        <div>
          22 
        </div> 
        <div>
          23 
        </div> 
        <div>
          24 
        </div> 
        <div>
          25 
        </div> 
        <div>
          26 
        </div> 
        <div>
          27 
        </div> 
        <div>
          28 
        </div> 
        <div>
          29 
        </div> 
        <div>
          30 
        </div> 
        <div>
          31 
        </div> 
        <div>
          32 
        </div> 
        <div>
          33 
        </div> 
        <div>
          34 
        </div> 
        <div>
          35 
        </div> 
        <div>
          36 
        </div> 
        <div>
          37 
        </div> 
        <div>
          38 
        </div> 
        <div>
          39 
        </div> 
        <div>
          40 
        </div> 
        <div>
          41 
        </div> 
        <div>
          42 
        </div> 
        <div>
          43 
        </div> 
        <div>
          44 
        </div> 
        <div>
          45 
        </div> 
        <div>
          46 
        </div> 
        <div>
          47 
        </div> 
        <div>
          48 
        </div> 
        <div>
          49 
        </div> 
        <div>
          50 
        </div> 
        <div>
          51 
        </div> 
        <div>
          52 
        </div> 
        <div>
          53 
        </div> 
        <div>
          54 
        </div> 
        <div>
          55 
        </div> 
        <div>
          56 
        </div> 
        <div>
          57 
        </div> 
        <div>
          58 
        </div> 
        <div>
          59 
        </div> 
        <div>
          60 
        </div> 
        <div>
          61 
        </div> 
        <div>
          62 
        </div> 
        <div>
          63 
        </div> 
        <div>
          64 
        </div> 
        <div>
          65 
        </div> 
        <div>
          66 
        </div> 
        <div>
          67 
        </div> 
        <div>
          68 
        </div> 
        <div>
          69 
        </div> 
        <div>
          70 
        </div> 
        <div>
          71 
        </div> 
        <div>
          72 
        </div> 
        <div>
          73 
        </div> 
        <div>
          74 
        </div> 
        <div>
          75 
        </div> 
        <div>
          76 
        </div> 
        <div>
          77 
        </div> </td> 
       <td> 
        <div> 
         <div> 
          <code>#!/usr/bin/env python</code> 
         </div> 
         <div> 
          <code>#encoding:UTF-8</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>import</code> 
          <code> re</code> 
         </div> 
         <div> 
          <code>import</code> 
          <code> urllib&nbsp;&nbsp; </code> 
         </div> 
         <div> 
          <code>import</code> 
          <code> threading</code> 
         </div> 
         <div> 
          <code>import</code> 
          <code> time</code> 
         </div> 
         <div> 
          <code>import</code> 
          <code> Queue</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>def</code> 
          <code> getHtml(url):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>html_page</code> 
          <code>=</code> 
          <code>urllib.urlopen(url).read()</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>return</code> 
          <code>html_page</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>#提取网页中图片的URL</code> 
         </div> 
         <div> 
          <code>def</code> 
          <code> getUrl(html):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>pattern</code> 
          <code>=</code> 
          <code>r</code> 
          <code>'http://.*?\.jpg!mid'</code>&nbsp;&nbsp; 
          <code>#正则表达式&nbsp; .*?(匹配http://和\.jpg!mid之间所有字符串)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>imgre</code> 
          <code>=</code> 
          <code>re.</code> 
          <code>compile</code> 
          <code>(pattern)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>imglist</code> 
          <code>=</code> 
          <code>re.findall(imgre,html)&nbsp;&nbsp; </code> 
          <code>#re.findall(pattern,string)&nbsp; 在string中寻找所有匹配成功的字符串，以列表形式返回值</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>return</code> 
          <code>imglist</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>class</code> 
          <code>getImg(threading.Thread):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>def</code> 
          <code>__init__(</code> 
          <code>self</code> 
          <code>,queue):&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> 
          <code>#进程间通过队列通信，所以每个进程需要用到同一个队列初始化</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>threading.Thread.__init__(</code> 
          <code>self</code> 
          <code>) </code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>self</code> 
          <code>.queue</code> 
          <code>=</code> 
          <code>queue</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#self.setDaemon(True)&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; #守护线程</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>self</code> 
          <code>.start()&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </code> 
          <code>#启动线程</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#使用队列实现进程间通信</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>def</code> 
          <code>run(</code> 
          <code>self</code> 
          <code>):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>global</code> 
          <code>count</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>while</code> 
          <code>(</code> 
          <code>True</code> 
          <code>):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>imgurl </code> 
          <code>=</code> 
          <code>self</code> 
          <code>.queue.get()</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code># print self.getName()</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#urllib.urlretrieve(url,filname) 将url的内容提取出来，并存入filename中 </code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>urllib.urlretrieve(imgurl, </code> 
          <code>'/home/dragonriver/图片/girls/%s.jpg'</code> 
          <code> %</code> 
          <code>count)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#&nbsp;&nbsp; print "%s.jpg done"%count</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>count </code> 
          <code>+</code> 
          <code>=</code> 
          <code>1</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>if</code> 
          <code>self</code> 
          <code>.queue.empty():</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>break</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>self</code> 
          <code>.queue.task_done()&nbsp; </code> 
          <code>#当使用者线程调用 task_done() 以表示检索了该项目、并完成了所有的工作时，那么未完成的任务的总数就会减少。</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>def</code> 
          <code> main():</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>global</code> 
          <code>count</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>url</code> 
          <code>=</code> 
          <code>"http://girl-atlas.com/a/10130205170100000231"</code>&nbsp; 
          <code>#要爬的网页地址 </code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>html</code> 
          <code>=</code> 
          <code>getHtml(url)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>imglist</code> 
          <code>=</code> 
          <code>getUrl(html)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>threads</code> 
          <code>=</code> 
          <code>[]</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>count</code> 
          <code>=</code> 
          <code>0</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>queue</code> 
          <code>=</code> 
          <code>Queue.Queue()</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#将所有任务加入队列</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>for</code> 
          <code>i </code> 
          <code>in</code> 
          <code> range</code> 
          <code>(</code> 
          <code>len</code> 
          <code>(imglist)):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>queue.put(imglist[i])</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#多线程爬去图片</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>for</code> 
          <code>i </code> 
          <code>in</code> 
          <code> range</code> 
          <code>(</code> 
          <code>4</code> 
          <code>):</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>thread</code> 
          <code>=</code> 
          <code>getImg(queue)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>threads.append(thread)</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code>&nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#合并进程，当子进程结束时，主进程才可以执行</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#for thread in threads:</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#&nbsp;&nbsp; thread.join()</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#另一种保持主进程阻塞的方法，次方法和前面的self.queue.task_tone()相照应</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#两个要同时使用</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>#queue.join()</code> 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div>
           &nbsp; 
         </div> 
         <div> 
          <code>if</code> 
          <code> __name__</code> 
          <code>=</code> 
          <code>=</code> 
          <code>'__main__'</code> 
          <code>:</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>main()</code> 
         </div> 
         <div> 
          <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
          <code>print</code> 
          <code>"Down"</code> 
         </div> 
        </div> </td> 
      </tr> 
     </tbody> 
    </table>

[Link 1]: http://my.oschina.net/yulongjiang/blog/182508#