杂记 小灰灰 2022-05-21 13:16 189阅读 0赞 # 7月7日。 # \-------------------------------------------------------------- 距离刚开始学爬虫，已经近一个半月，6月8号买的爬虫书，这一个月算是努力了一下，自己也喜欢这种每天都有目标的 状态，感觉很好，很充实。回顾一下这一个月以来写的爬虫：头条街拍，淘宝，网易云相册，简书，微博（m.weibo.cn)，豆瓣电影分类，其中头条、淘宝、微博都是书上的例子，但是我也尽量自己从头实现了一遍，也尽量用两种方式实现：requests+beautifulsoup和scrapy，其中的坑，只有踩过才懂。列几个感觉还需要深入的地方： 1.微博验证码登陆，m.weibo.cn不需要登陆也可以访问大量接口，让技术难度一下子降低了很多 2.速度。实测用scrapy爬取的时候，速度并不是很快，可能是settings文件还没有调教好？实测下爬同一个网站网易云相册，requests+beautifulsoup的速度往往比scrapy快不少。settings中有一个的请求并发数参数，默认值是16，而这个设置默认是注释了的，不知道改一改会怎么样。明天测试一下。 3.海量数据存储，至今为止爬的最多的数据是微博，爬下来的数据也不过30w+，想办法用分布式把爬虫速度提上去就能存储尽可能的数据。 4.爬虫部署，写了几个爬虫，都只在本地运行，想办法部署到服务器上，稳定跑起来，目前想到的是部署方式是阿里云服务器。 # 7月8日 # \-------------------------------------------------------------- 今天改写了一下简书的爬虫，去掉了随机延时，简书可能需要被搜索引擎尽可能的获取页面，对爬虫的限制很少，我10多个小时就爬下来了30w的数据。 同时还写了京东商品评论的爬虫，从搜索商品名称入口，获得搜索结果的商品列表，以此爬取各商品的评论数据。京东的反爬虫挺严，但比淘宝差点，还不需要上selenium，测试了下爬了6k条评论，并没有被京东封掉。
相关 杂记---- 文章目录 1. echo命令特性 2. msf 3. 劫持explorer.exe黑屏 4. 影子账户 5. 烂土豆提权 6. mim 拼搏现实的明天。/ 2022年11月20日 08:20/ 0 赞/ 631 阅读
相关 杂记 杂记 MySQL相关 show variables like ‘%变量名%’查看mysql变量 select version查询mysql版本号 mysql 默 曾经终败给现在/ 2022年10月30日 14:22/ 0 赞/ 233 阅读
相关 杂记 Google镜像： [https://github.com/greatfire/wiki][https_github.com_greatfire_wiki] 谁借莪１个温暖的怀抱￠/ 2022年09月28日 13:24/ 0 赞/ 201 阅读
相关 杂记 人生，也是游戏，鼓起勇气玩这游戏。 看到额头的岁月痕迹，不禁心寒。从现在开始，要让自己开心，灵活巧妙的应对人生的挑战———— 序，先和后的关系。复杂的事情，如果掌握好序，其 柔情只为你懂/ 2022年06月01日 02:13/ 0 赞/ 177 阅读
相关 杂记 7月7日。 \-------------------------------------------------------------- 距离刚开始学爬虫，已经近一个 小灰灰/ 2022年05月21日 13:16/ 0 赞/ 190 阅读
相关 杂记 ^位置）： ![734212-20190329100618019-44678809.jpg][] 一些收藏： 蔚落/ 2021年09月29日 10:14/ 0 赞/ 313 阅读
拼搏现实的明天。
柔情只为你懂
小灰灰
还没有评论，来说两句吧...