在当当买了python怎么下载源代码-初学Python 之抓取当当网图书页面目录并保存到txt文件...

╰+哭是因爲堅強的太久メ 2022-11-21 14:17 163阅读 0赞

这学期新开了门“高大上”的课《机器学习》，也开始入门Python。然后跟我们一样初学Python 的老师布置了个“作业”——用Python 弄个抓取当当网图书页面目录并保存到txt文件的小程序。

然后昨天去找了篇入门教程看了下，顺便翻了翻其他人的源码将这个搞了出来。当然，还是似懂非懂的，高手就指点下哈。

说下几点：

1、之所以用当当网的作为数据来源是因为相比于亚马逊京东等其目录的那个div 的id 比较固定，为catalog，好抓。

2、但也有个坑，对于某些厚的书，其默认只输出部分目录；真正的目录其实是在某个textarea 标签下的（你可以去当当网看下源代码）；所以正确思路应该是抓取解析id 为catalog 的div 下的textarea 的文本内容。

菜鸟级别的代码：

\# -\*- coding: utf-8 -\*-

\#当当网图书目录抓取

\#已经实现抓取目录

\#实现写入到txt文件中

\#新增匹配字符串

\#新增书名抓取（略有bug）

\#自定义输入url

\#参考 http://blog.csdn.net/nwpulei/article/details/7272832

import urllib2

import re

from sgmllib import SGMLParser

class ListName(SGMLParser):

def reset(self):

self.item = \[\]

self.title = \[\]

self.flag = False

self.getdata = False

self.verbatim = 0

self.is\_h1 = False

SGMLParser.reset(self)

def start\_div(self, attrs):

if self.flag == True:

self.verbatim +=1 \#进入子层div了，层数加1

return

for k,v in attrs:\#遍历div的所有属性以及其值

if k == 'id' and v == 'catalog':

self.flag = True

return

def end\_div(self):\#遇到

if self.verbatim == 0:

self.flag = False

if self.flag == True:\#退出子层div了，层数减1

self.verbatim -=1

def start\_textarea(self, attrs):

if self.flag == False:

return

self.getdata = True

def end\_textarea(self):\#遇到

if self.getdata:

self.getdata = False

def start\_h1(self, attrs):

self.is\_h1 = True

def end\_h1(self):

self.is\_h1 = False

def handle\_data(self, text):\#处理文本

if self.getdata:

self.item.append(text)

if self.is\_h1:

self.title.append(text)

def print2txt(self):

print 'Reading >>'+self.title\[0\].decode('gbk').encode('utf8')

f = open(filename\[0\]+'.txt','w')

for i in self.item:

f.write(i.decode('gbk').encode('utf8'))

f.close()

\# url = 'http://product.dangdang.com/23422719.html'

url = raw\_input("请输入当当网的图书链接：")

number = 'http://product.dangdang.com/(.\*).html'

filename = re.findall(number,url)

\# print filename\[0\]

content =urllib2.urlopen(url).read()

print ('正在读取'+url+'的内容...')

lister = ListName()

lister.feed(content)

lister.print2txt()

print('目录已抓取写入到'+filename\[0\]+'.txt中,end~')

发表评论取消回复

表情：

评论列表（有 0 条评论，163人围观）

还没有评论，来说两句吧...

相关阅读

相关在当当买了python怎么下载源代码-Python爬取当当、京东、亚马逊图书信息代码实例...

注：1.本程序采用MSSQLserver数据库存储，请运行程序前手动修改程序开头处的数据库链接信息 2.需要bs4、requests、pymssql库支持 3.支持多线程

男娘i/ 2022年11月21日 14:27/ 0 赞/ 227 阅读

相关在当当买了python怎么下载源代码-初学Python 之抓取当当网图书页面目录并保存到txt文件...

这学期新开了门“高大上”的课《机器学习》，也开始入门Python。然后跟我们一样初学Python 的老师布置了个“作业”——用Python 弄个抓取当当网图书页面目录并保存到t

╰+哭是因爲堅強的太久メ/ 2022年11月21日 14:17/ 0 赞/ 164 阅读

相关当当网高可用架构之道

声明：本文内容来自于TOP100Summit旗下技术沙龙品牌into100沙龙第17期：高可用高并发解决之道，如需转载请联系主办方进行授权。嘉宾：史海峰，当当架构部总监。

﹏ヽ暗。殇╰゛Y/ 2022年09月05日 00:05/ 0 赞/ 126 阅读

相关当当网高可用架构之道

> 声明：本文内容来自于TOP100Summit旗下技术沙龙品牌into100沙龙第17期：[高可用高并发解决之道][Link 1]，如需转载请联系主办方进行授权。 > 嘉

「爱情、让人受尽委屈。」/ 2022年07月28日 01:44/ 0 赞/ 149 阅读

相关 python爬虫框架之scrapy安装与当当网爬虫实战

一、scrapy简介 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。其可以应用在数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了页面

﹏ヽ暗。殇╰゛Y/ 2022年05月29日 11:46/ 0 赞/ 369 阅读

相关 D 1. 实战 - scrapy爬虫抓取当当图书

1 抓取当当图书详情，存入mysql -------------------- 1.1 项目需求 1. 抓取当当网自营的湖南教育出版社图书信息，通过异步的方式存

港控/mmm°/ 2022年05月19日 07:09/ 0 赞/ 211 阅读

相关 D 2. 实战 - scrapy爬虫抓取当当图书评论_8.13

一、确定需求 1. 抓取当当详情页上的图书（打开搜索页面，输入出版社，点击按销量排、只看有货） 2. 确定抓取元素：（共12个） `ID / 书名 / 原

冷不防/ 2022年05月17日 06:15/ 0 赞/ 208 阅读

相关爬去当当热销图书信息

运行环境：python 3.6.0 目的：练练手，爬去当当图书热门图书的信息并且存储 import requests import re impor

Dear 丶/ 2022年02月20日 10:55/ 0 赞/ 234 阅读

相关 Python 爬虫当当网图书 scrapy

目标站点需求分析获取当当网每个图书名字和评论数涉及的库 scrapy,mysql 获取解析单页源码 ![1487442-20190219205

冷不防/ 2021年12月17日 08:29/ 0 赞/ 323 阅读

相关纪念逝去的当当网

分享一个我的公众号，最近突然想玩公众号，之前做过一段时间前端开发，考虑到现在应用程序越来越多，未来社会一定是一个充满“只有你想不到，没有你做不到”的App的世界！而微信小程序又

迈不过友情╰/ 2021年09月22日 14:02/ 0 赞/ 315 阅读