爬虫系列教程一：学习爬虫前需要看的基本术语和知识

痛定思痛。 2023-07-24 08:45 19阅读 0赞

在学习定位网页信息的之前，我们首先需要了解一下各个术语（这部分有很多是网页的知识，写爬虫需要对网页有较为深刻的认识，所以我罗列了很多知识点，挂一漏万，欢迎大家补充；当然急着写爬虫的读者可以略去不读，日后回看）：

*  SGML/HTML/XML/XHTML
    
     *  SGML的全称是Standard Generalized Markup Language(标准通用标记语言)；
     *  HTML的全称是Hyper Text Markup Language(超文本标记语言)；
     *  XML的全称是Extensible Markup Language(可拓展标记语言)；
     *  XHTML是严格符合XML的HTML;
     *  三者在时间的顺序是SGML\\HTML\\XML,三者在功能和复杂度上做了权衡，都属于标记语言，后两者可用于网页；
 *  DOM
    
     *  DOM的全称是Document object model(文档对象模型)；
     *  是一个可以用于操作结构化标准文档\\HTML\\XML的结构、内容、风格的API，我们一般使用HTML DOM;
     *  它的本质是一个api接口文档，提供了一个接口的规范；实现过程是先解析文档，然后将文本组织成一个DOM树结构，最后开放符合DOM文档的api接口。
     *  一开始DOM在浏览器用js有实现，现在我们也可以自己实现dom；
 *  SAX
    
     *  SAX的全称是Simple API for XML（用于处理XML事件驱动的推模型）;
     *  概念和DOM平行，但是不是由W3C(World Wide Web Consortium )提出来的，而是民间自己讨论出来的一种标准；
     *  它和DOM的区别是在于：DOM是将所有的xml读入内存后一起建树，相当于先扫描，后解析；而SAX的特点是边扫描，边解析；
 *  XSL
    
     *  XSL的全称是EXtensible Stylesheet Language（扩展样式表语言）；
     *  是W3C制定的另一种表现XML文档的样式语言。XSL是XML的应用，符合XML的语法规范，可以被XML的分析器处理；
     *  XSL的三个组成部分是XSLT\\XPath\\XSL-FO;XLST负责建树，用XSL-FO分析并表现；
     *  XSL负责html的样式渲染工作，而CSS可以完成html、xml的样式渲染，DSSSL负责SGML的渲染；
 *  XSLT
    
     *  XSLT的全称是Extensible Stylesheet Language Transformations（可扩展样式表转换语言);
     *  可以将XML数据档转换为另外的XML或其它格式，如HTML网页，纯文字。是XML规范中的一部分。
 *  Xpath
    
     *  Xpath的全程是XML path language；
     *  是一个用于在xml文档中查找信息的语言，同样适用于html；XQuery和XPointer均建在xpath上；
     *  Xpath最初是DOM里面定位元素的方法；可以用xpath实现一个解析器；
 *  XSL-FO
    
     *  Xpath的全程是XSL Format object；
     *  用于格式化信息；
 *  CSS
    
     *  CSS的全称是Cascading Style Sheets（层叠式样式表）；
     *  样式表分为转换信息和格式化信息两部分，在XSL中也有对应的概念；
 *  解析器
    
     *  XML 解析器就是对DOM和SAX两个规范的实现，例如：XML解析器将XML转化为XML DOM对象；通常浏览器会内置解析器；
     *  当然我们还有样式表解析器；
     *  Libxml2
        
         *  Libxml2是一个C语言下的xml解析器；被用于Gnome项目。
     *  Libxslt
        
         *  Libxslt是一个C语言下的XSLT实现；被用于Gnome项目。
         *  内含样式表解析器；
     *  LXML
        
         *  lxml是python的一个解析库，支持HTML和XML的解析；使用了libxml\\libxtls，而且解析效率非常高；且支持SAX风格的部分解析，也支持用户自定义添加。
     *  Xquery/Xpoint
        
         *  这两个都是查询语言，相应的解析器部分不知道怎么实现的；
     *  BeautifulSoup
        
         *  bs4也是一个解析库，支持HTML和XML的解析，支持4种解析器，