Python3解析XML文件(xml.etree.ElementTree)——以简单网络爬虫为例

谁借莪１个温暖的怀抱￠ 2022-05-08 02:46 1056阅读 0赞

### 文章目录 ###

*  简单爬虫案例(XML解析)\#
 *  XML文件生成

本文作者：合肥工业大学 管理学院 钱洋 email：1563178220@qq.com 内容可能有不到之处，欢迎交流。  
未经本人，允许禁止转载。

# 简单爬虫案例(XML解析)\# #

在python3中可以使用 xml.etree.ElementTree 模块操作XML文档。以下案例为网易汽车的销量数据，地址为：

> [http://db.auto.sohu.com/cxdata/xml/sales/model/model1001sales.xml][http_db.auto.sohu.com_cxdata_xml_sales_model_model1001sales.xml]

![在这里插入图片描述][70]

从网页内容中，可以看到是XML文件。以下为其解析程序，我想要的数据是date(销量的日期)、salesNum(销量)两个数据：

# -*- coding: utf-8 -*- from urllib.request import urlopen import xml.etree.ElementTree as ET # 以网易汽车为例 u = urlopen('http://db.auto.sohu.com/cxdata/xml/sales/model/model1001sales.xml') #获取文本 s = u.read().decode('gbk') root = ET.fromstring(s) #从跟节点迭代子节点 for elem in root.iter(): print (elem.tag, elem.attrib) #取所有的sales子节点循环 for item in root.iterfind('sales'): #获取两列数据 print(item.get("date"),'\t',item.get("salesNum"))

如下，为程序在控制台的输出结果：  
![在这里插入图片描述][70 1]

# XML文件生成 #

在很多情境下，需要生成xml文件，例如我们可以通过字典的方式，将数据库的配置信息放入XML文件中，以下为操作程序：

# -*- coding: utf-8 -*- from xml.etree.ElementTree import Element,ElementTree from xml.etree.ElementTree import tostring def dict_to_xml(tag, d): ''' Turn a simple dict of key/value pairs into XML ''' elem = Element(tag) #使用Element创建元素 #循环key与val for key, val in d.items(): #创建新的元素,确定元素的值 child = Element(key) child.text = str(val) #添加为elem的子节点 elem.append(child) return elem if __name__ == "__main__": #数据库配置的信息 db_config = { 'host':'127.0.0.1', 'port':3306, 'user':'db_user', 'password':'db_user_passwd', 'db':'database_name', 'charset':'utf8' } #调用方法 e = dict_to_xml('db', db_config) print(tostring(e)) #转化为ElementTree tree = ElementTree(e) #写成xml文件 tree.write('output.xml', encoding='UTF-8')

注意生成的xml没有头信息。  
![在这里插入图片描述][70 2]

![在这里插入图片描述][70 3]

[http_db.auto.sohu.com_cxdata_xml_sales_model_model1001sales.xml]: http://db.auto.sohu.com/cxdata/xml/sales/model/model1001sales.xml
[70]: /images/20220508/a1fb11a2c3944ee4b42d4b610e823a65.png
[70 1]: /images/20220508/35544128b1a1474698a734bf088cf0e7.png
[70 2]: /images/20220508/a47b89ca6d7642bcb971cb38da919fa6.png
[70 3]: /images/20220508/7194c272a49c48af90d8e81c53259d92.png