【2019全国职业技能大赛大数据技术】任务二：3-数据采集（20分_题目）

浅浅的花香味﹌ 2022-11-15 01:29 111阅读 0赞

虚拟机 MySQL 数据库账号/ 密码 ：root/Password123$  
具体任务要求：  
**1、 使用 chrome 浏览器，查找网站异步请求的数据，在计算机桌面“GZ-032 竞赛文档”文件夹“XXX-02.docx（XXX 代表赛位号、02 代表任务二）”文件中创建并编写完成下表：**

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:218px;">内容</td> 
   <td style="width:280px;">网页源码对应字段</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">酒店评分</td> 
   <td style="width:280px;">&nbsp;</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">酒店名称</td> 
   <td style="width:280px;">&nbsp;</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">酒店星级</td> 
   <td style="width:280px;">&nbsp;</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">用户点评数</td> 
   <td style="width:280px;">&nbsp;</td> 
  </tr> 
 </tbody> 
</table>

（示例表）

<table style="width:500px;"> 
 <tbody> 
  <tr> 
   <td style="width:218px;">内容</td> 
   <td style="width:280px;">网页源码对应字段</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">北京</td> 
   <td style="width:280px;">Province</td> 
  </tr> 
  <tr> 
   <td style="width:218px;">中国</td> 
   <td style="width:280px;">Country</td> 
  </tr> 
 </tbody> 
</table>

**2、 完善 hotelscrawl.py 中内容，将函数内容截图并保存。**  
1） 将完整的 start\_requests 函数内容截图并保存；  
2） 将完整的 get\_city 函数内容截图并保存；  
3） 将完整的 get\_page 函数内容截图并保存；  
4） 将完整的 get\_hotel\_id 函数内容截图并保存；  
5） 将完整的 parse 函数内容截图并保存。  
**3、 根据爬取字段，在 MySQL 中创建 crawl 数据库，在该数据库中创建 hotels 表，并查看表结构，将查看结果（含字段总行数）截图并保存。**  
**4、 完善 pipelines.py 中内容，将函数内容截图并保存。**  
1） 将完整的 process\_item 函数内容截图并保存。  
**5、 爬虫程序运行结束后查看MySQL数据库，按seq倒序排序，返回前4行数据，将命令与查看结果截图并保存。**

**答案已更新请查收[任务二：3-数据采集（20分\_答案）][3-_20]**

[3-_20]: https://blog.csdn.net/weixin_44015669/article/details/115333447