python-爬虫-使用 tomd 库，将 html 转换为 markdown 文档

た入场券 2024-02-18 18:17 24阅读 0赞

python-爬虫-使用 tomd 库，将 html 转换为 markdown 文档  
  
  
编码问题搞死人！注意：写python前要先设置两个位置的编码，一个文件顶部设置文件编码，一个是 import 后设置系统默认编码！！！  
  
  
tomd 对与非常复杂的结构，还是不能完美处理，但已经很不错了，用了 不到 200 行的代码写的转换器。  
  
  
tomd 源码地址：https://github.com/gaojiuli/tomd  
  
  
对于 per 标签的转换说明：  
html 中的 per 为与格式化标签，其中的字符串的原始格式将保留，需要注意的是 tomd 只会对 <pre><code>...</code></pre> 这种嵌套进行解析~  
  
  
完整的转换实例：

# -*- coding: utf-8 -*-
    import codecs
    import sys
    
    
    import tomd
    
    
    reload(sys)
    sys.setdefaultencoding('utf8')  # 设置默认编码格式为'utf-8'
    
    
    save_file='/Library/temp/markdown.md'
    
    
    def run():
        html = getHtml()
        print html
        mdTxt = tomd.Tomd(html).markdown
        print 'markdown :{}'.format(mdTxt)
        createFile(mdTxt)
    
    
    def createFile(mdTxt):
        print '系统默认编码：{}'.format(sys.getdefaultencoding())
        print '准备写入文件：{}'.format(save_file)
        #r+ 打开一个文件用于读写。文件指针将会放在文件的开头。
        #w+ 打开一个文件用于读写。如果该文件已存在则将其覆盖。如果该文件不存在，创建新文件。
        #a+ 打开一个文件用于读写。如果该文件已存在，文件指针将会放在文件的结尾。文件打开时会是追加模式。如果该文件不存在，创建新文件用于读写。
        f = codecs.open(save_file,'w+','utf-8')
        # f.write('###{}\n'.format(url))
        f.write(mdTxt)
        #f.write(mdTxt)
        f.close()
        print '写入文件结束：{}'.format(f.name)
    
    
    
    
    def getHtml():
        return u'''
    <h1>hello word!你好，世界！</h1>
    <h2>hello word!你好，世界！</h2>
    <h3>hello word!你好，世界！</h3>
    <h4>hello word!你好，世界！</h4>
    <h5>hello word!你好，世界！</h5>
    <h6>hello word!你好，世界！</h6>
    <p>paragraph
    	<a href="https://github.com">link</a>
    	<img src="https://github.com" class="dsad">img</img>
    </p>
    <ul>
    	<li>1</li>
    	<li>2</li>
    	<li>3</li>
    </ul>
    <ol>
    	<li>1</li>
    	<li>2</li>
    	<li>3</li>
    </ol>
    <blockquote>blockquote</blockquote>
    <p>
    	<code>inline code</code>
    </p>
    <pre><code>block code</code></pre>
    <p>
    	<b>bold</b>
    	<i>italic</i>
    	<b>
    		<i>bold italic</i>
    	</b>
    </p>
    <p>code</p>
    <pre><code>
        /**
         * Sroo
         * @param pars
         * @return
         */
        @ServiceMethod
        public String CleanSroomWithRPIsNull(NoRpSRoomClearRequet pars){
            return String.format("xxxx",ctripMappingCompensate.cleanSroomWithRPIsNull(pars));
        }
    </code></pre>
        '''

run()