正则爬取京东商品信息并打包成.exe可执行程序

青旅半醒 2021-10-23 16:58 287阅读 0赞

本文爬取内容，输入要搜索的关键字可自动爬取京东网站上相关商品的店铺名称，商品名称，价格，爬取100页（共100页）

代码如下；

[?][Link 1]

<table> 
 <tbody> 
  <tr> 
   <td> 
    <div>
      1 
    </div> 
    <div>
      2 
    </div> 
    <div>
      3 
    </div> 
    <div>
      4 
    </div> 
    <div>
      5 
    </div> 
    <div>
      6 
    </div> 
    <div>
      7 
    </div> 
    <div>
      8 
    </div> 
    <div>
      9 
    </div> 
    <div>
      10 
    </div> 
    <div>
      11 
    </div> 
    <div>
      12 
    </div> 
    <div>
      13 
    </div> 
    <div>
      14 
    </div> 
    <div>
      15 
    </div> 
    <div>
      16 
    </div> 
    <div>
      17 
    </div> 
    <div>
      18 
    </div> 
    <div>
      19 
    </div> 
    <div>
      20 
    </div> 
    <div>
      21 
    </div> 
    <div>
      22 
    </div> 
    <div>
      23 
    </div> 
    <div>
      24 
    </div> 
    <div>
      25 
    </div> 
    <div>
      26 
    </div> 
    <div>
      27 
    </div> 
    <div>
      28 
    </div> 
    <div>
      29 
    </div> 
    <div>
      30 
    </div> 
    <div>
      31 
    </div> 
    <div>
      32 
    </div> 
    <div>
      33 
    </div> </td> 
   <td> 
    <div> 
     <div> 
      <code>import</code> 
      <code>requests</code> 
     </div> 
     <div> 
      <code>import</code> 
      <code>re</code> 
     </div> 
     <div> 
      <code># 请求头</code> 
     </div> 
     <div> 
      <code>headers </code> 
      <code>=</code> 
      <code>{ </code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>'User-Agent'</code> 
      <code>: </code> 
      <code>'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'</code> 
     </div> 
     <div> 
      <code>}</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>def</code> 
      <code>get_all(url,key):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>for</code> 
      <code>page </code> 
      <code>in</code> 
      <code>range</code> 
      <code>(</code> 
      <code>1</code> 
      <code>,</code> 
      <code>200</code> 
      <code>,</code> 
      <code>2</code> 
      <code>):</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>params </code> 
      <code>=</code> 
      <code>{ </code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>'keyword'</code> 
      <code>:key,</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>'enc'</code> 
      <code>:</code> 
      <code>'utf-8'</code> 
      <code>,</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>'page'</code> 
      <code>:page</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>}</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>num </code> 
      <code>=</code> 
      <code>int</code> 
      <code>((</code> 
      <code>int</code> 
      <code>(page)</code> 
      <code>+</code> 
      <code>1</code> 
      <code>)</code> 
      <code>/</code> 
      <code>2</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>try</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>response </code> 
      <code>=</code> 
      <code>requests.get(url</code> 
      <code>=</code> 
      <code>url,params</code> 
      <code>=</code> 
      <code>params,headers</code> 
      <code>=</code> 
      <code>headers)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code># 转码</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>content </code> 
      <code>=</code> 
      <code>response.text.encode(response.encoding).decode(response.apparent_encoding)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>data_all </code> 
      <code>=</code> 
      <code>re.findall(</code> 
      <code>'&lt;div class="p-price"&gt;.*?&lt;i&gt;(.*?)&lt;/i&gt;.*?&lt;div class="p-name p-name-type-2"&gt;.*?title="(.*?)"'</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>'.*?&lt;div class="p-shop".*?title="(.*?)"'</code> 
      <code>,content,re.S)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>for</code> 
      <code>i </code> 
      <code>in</code> 
      <code>data_all:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>with </code> 
      <code>open</code> 
      <code>(key </code> 
      <code>+</code> 
      <code>'.txt'</code> 
      <code>, </code> 
      <code>'a+'</code> 
      <code>, encoding</code> 
      <code>=</code> 
      <code>'utf-8'</code> 
      <code>) as f:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>f.write(</code> 
      <code>'店铺名称：'</code> 
      <code>+</code> 
      <code>i[</code> 
      <code>2</code> 
      <code>]</code> 
      <code>+</code> 
      <code>'\n'</code> 
      <code>+</code> 
      <code>'商品名称：'</code> 
      <code>+</code> 
      <code>i[</code> 
      <code>1</code> 
      <code>]</code> 
      <code>+</code> 
      <code>'\n'</code> 
      <code>+</code> 
      <code>'价格:'</code> 
      <code>+</code> 
      <code>i[</code> 
      <code>0</code> 
      <code>]</code> 
      <code>+</code> 
      <code>'\n\n'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(</code> 
      <code>'第'</code> 
      <code>+</code> 
      <code>str</code> 
      <code>(num)</code> 
      <code>+</code> 
      <code>'页'</code> 
      <code>+</code> 
      <code>'数据下载中....'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>except</code> 
      <code>Exception as e:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(e)</code> 
     </div> 
     <div>
       &nbsp; 
     </div> 
     <div> 
      <code>if</code> 
      <code>__name__ </code> 
      <code>=</code> 
      <code>=</code> 
      <code>'__main__'</code> 
      <code>:</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>print</code> 
      <code>(</code> 
      <code>'输入要搜索的内容，获取京东商城里面的商品名称，店铺名称，商品价格'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>key </code> 
      <code>=</code> 
      <code>input</code> 
      <code>(</code> 
      <code>'输入搜索内容：'</code> 
      <code>)</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>url </code> 
      <code>=</code> 
      <code>'<a href="https://search.jd.com/Search?" rel="nofollow">https://search.jd.com/Search?</a>'</code> 
     </div> 
     <div> 
      <code>&nbsp;&nbsp;</code> 
      <code>get_all(url,key)</code> 
     </div> 
    </div> </td> 
  </tr> 
 </tbody> 
</table>

打包成.exe可执行文件。

需要用到pyinstaller包pip下载；

`pip install pyinstaller`

在线制作一个.ico图标，用来当程序图片，把图标和程序放在同一个文件夹下，

![2019080910353012.png][]

![2019080910353013.png][]

在.py文件目录下打开命令行窗口，执行打包命令；

E:\\练习\\最后阶段\\0808\\jd1>pyinstaller -F -i dog.ico jd.py

出现successfully表示打包成功；

27525 INFO: Building EXE from EXE-00.toc completed successfully.

可执行程序在当前文件夹下的dist文件夹下；

![2019080910353014.png][]

运行效果；

[![2019080910353015.png][]][2019080910353015.png]

可同时执行多个程序；

[![2019080910353116.png][]][2019080910353116.png]

输出结果；

[![2019080910353117.png][]][2019080910353117.png]

done。

转载于:https://www.cnblogs.com/sundahua/p/11346642.html

[Link 1]: https://www.jb51.net/article/167317.htm#
[2019080910353012.png]: https://files.jb51.net/file_images/article/201908/2019080910353012.png
[2019080910353013.png]: https://files.jb51.net/file_images/article/201908/2019080910353013.png
[2019080910353014.png]: https://files.jb51.net/file_images/article/201908/2019080910353014.png
[2019080910353015.png]: https://files.jb51.net/file_images/article/201908/2019080910353015.png
[2019080910353116.png]: https://files.jb51.net/file_images/article/201908/2019080910353116.png
[2019080910353117.png]: https://files.jb51.net/file_images/article/201908/2019080910353117.png