python学习笔记（7）

今天药忘吃喽~ 2022-01-09 04:51 655阅读 0赞

# 第七章 文件和数据格式化 #

# 文件的使用 #

文件是数据的抽象和集合

*  文件是存储在辅助存储器上的数据序列
 *  文件是数据存储的一种形式
 *  文件展现形态：文本文件和二进制文件

**文本文件**

*  由单一特定编码组成的文件，如UTF-8编码
 *  由于存在编码，也被看成是存储着的长字符串
 *  适用于例如：.txt文件、.py文件等

**二进制文件**

*  直接由比特0和1组成，没有统一字符编码
 *  一般存在二进制0和1的组织结构，即文件格式
 *  适用于例如：.png文件、.avi文件等

# 文件的打开和关闭 #

文件处理的步骤: 打开-操作-关闭  
*文件的打开*  
 **= open(, )**  
打开模式

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">文件的打开模式</th> 
   <th style="text-align:center;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">'r'</td> 
   <td style="text-align:center;">只读模式，默认值，如果文件不存在，返回FileNotFoundError</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'w'</td> 
   <td style="text-align:center;">覆盖写模式，文件不存在则创建，存在则完全覆盖</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'x'</td> 
   <td style="text-align:center;">创建写模式，文件不存在则创建，存在则返回FileExistsError</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'a'</td> 
   <td style="text-align:center;">追加写模式，文件不存在则创建，存在则在文件最后追加内容</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'b'</td> 
   <td style="text-align:center;">二进制文件模式</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'t'</td> 
   <td style="text-align:center;">文本文件模式，默认值</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">'+'</td> 
   <td style="text-align:center;">与r/w/x/a一同使用，在原功能基础上增加同时读写功能</td> 
  </tr> 
 </tbody> 
</table>

*文件的关闭*  
**.close()**

文件使用  
**文本形式打开文件**

tf = open("f.txt", "rt")
    print(tf.readline())
    tf.close()

**二进制形式打开文件**

bf = open("f.txt", "rb")
    print(bf.readline())
    bf.close()

文件内容的读取

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">操作方法</th> 
   <th style="text-align:center;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">.read(size=-1)</td> 
   <td style="text-align:center;">读入全部内容，如果给出参数，读入前size长度</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">.readline(size=-1)</td> 
   <td style="text-align:center;">读入一行内容，如果给出参数，读入该行前size长度</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">.readlines(hint=-1)</td> 
   <td style="text-align:center;">读入文件所有行，以每行为元素形成列表 ,如果给出参数，读入前hint行</td> 
  </tr> 
 </tbody> 
</table>

# 文件的全文本操作 #

方法一:一次读入，统一处理

fname = input("请输入要打开的文件名称:")
    fo = open(fname,"r")
    txt = fo.read()
    #对全文txt进行处理
    fo.close()

方法二：按数量读入，逐步处理

fname = input("请输入要打开的文件名称:")
    fo = open(fname,"r")
    txt = fo.read(2)
    while txt != "":
          #对txt进行处理
          txt = fo.read(2)
    fo.close()

# 文件的逐行操作 #

方法一：一次读入，分行处理

fname = input("请输入要打开的文件名称:")
    fo = open(fname,"r")
    for line in fo.readlines():
         print(line)
    fo.close()

方法二：分行读入，逐行处理

fname = input("请输入要打开的文件名称:")
    fo = open(fname,"r")
    for line in fo:
         print(line)
    fo.close()

# 数据的文件写入 #

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">操作方法</th> 
   <th style="text-align:center;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">.write(s)</td> 
   <td style="text-align:center;">向文件写入一个字符串或字节流</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">.writelines(lines)</td> 
   <td style="text-align:center;">将一个元素全为字符串的列表写入文件</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">.seek(offset)</td> 
   <td style="text-align:center;">改变当前文件操作指针的位置，offset含义如下：0 – 文件开头； 1 – 当前位置； 2 – 文件结尾</td> 
  </tr> 
 </tbody> 
</table>

e.g.  
写入一个字符串列表

fo = open("output.txt","w+")
    ls = ["中国","法国","美国"]
    fo.writelines(ls)
    for line in fo:
         print(line)
    fo.close()

**注：上一个程序没有任何输出**

fo = open("output.txt","w+")
    ls = ["中国","法国","美国"]
    fo.writelines(ls)
    fo.seek(0)
    for line in fo:
         print(line)
    fo.close()

**注：上一个程序会输出：中国法国美国**  
**fo.seek(0)**起到了关键作用

# 实例11: 自动轨迹绘制 #

问题分析  
自动轨迹绘制

*  需求：根据脚本来绘制图形？
 *  不通过写代码而通过写数据绘制轨迹
 *  数据脚本是自动化最重要的第一步

基本思路

*  步骤1：定义数据文件格式（接口）
 *  步骤2：编写程序，根据文件接口解析参数绘制图形
 *  步骤3：编制数据文件

#AutoTraceDraw.py
        import turtle as t
        t.title('自动轨迹绘制')
        t.setup(800, 600, 0, 0)
        t.pencolor("red")
        t.pensize(5)
        #数据读取
        datals = []
        f = open("data.txt")
        for line in f:
            line = line.replace("\n","")
            datals.append(list(map(eval, line.split(","))))
        f.close()
        #自动绘制
        for i in range(len(datals)):
            t.pencolor(datals[i][3],datals[i][4],datals[i][5])
            t.fd(datals[i][0])
            if datals[i][1]:
                t.rt(datals[i][2])
            else:
                t.lt(datals[i][2])

# 一维数据的格式化和处理 #

维度：一组数据的组织形式

# 一维数据的表示 #

**如果数据间有序：使用列表类型**  
ls = \[3.1398, 3.1349, 3.1376\]

*  列表类型可以表达一维有序数据
 *  for循环可以遍历数据，进而对每个数据进行处理

**如果数据间无序：使用集合类型**  
st = \{3.1398, 3.1349, 3.1376\}

*  集合类型可以表达一维无序数据
 *  for循环可以遍历数据，进而对每个数据进行处理

# 一维数据的存储 #

**存储方式一：空格分隔**  
中国 美国 日本 德国 法国 英国 意大利

*  使用一个或多个空格分隔进行存储，不换行
 *  缺点：数据中不能存在空格

**存储方式二：逗号分隔**  
中国,美国,日本,德国,法国,英国,意大利

*  使用英文半角逗号分隔数据进行存储，不换行
 *  缺点：数据中不能有英文逗号

**存储方式三：其他方式**  
中国$美国$日本$德国$法国$英国$意大利

*  使用其他符号或符号组合分隔，建议采用特殊符号
 *  缺点：需要根据数据特点定义，通用性较差

# 一维数据的处理 #

数据的处理：存储 <-> 表示

*  将存储的数据读入程序
 *  将程序表示的数据写入文件  
    ![1345166-20190427114431127-1421147922.png][]

# 一维数据的读入处理 #

**从空格分隔的文件中读入数据**  
中国 美国 日本 德国 法国 英国 意大利

txt = open(fname).read()
    ls = txt.split()
    f.close()
    
    >>> ls
    ['中国', '美国', '日本', '德国', '法国', '英国', '意大利']

**从特殊符号分隔的文件中读入数据**  
中国$美国$日本$德国$法国$英国$意大利

txt = open(fname).read()
    ls = txt.split("$")
    f.close()
    
    >>> ls
    ['中国', '美国', '日本', '德国', '法国', '英国', '意大利']

# 一维数据的写入处理 #

**采用空格分隔方式将数据写入文件**

ls = ['中国','美国','日本']
    f = open(fname, 'w')
    f.write(' '.join(ls))
    f.close()

**采用特殊分隔方式将数据写入文件**

ls = ['中国','美国','日本']
    f = open(fname, 'w')
    f.write('$'.join(ls)) 
    f.close()

# 二维数据的格式化和处理 #

# 二维数据的表示 #

使用列表类型

*  列表类型可以表达二维数据
 *  使用二维列表

[ [3.1398, 3.1349, 3.1376], 
    [3.1413, 3.1404, 3.1401] ]

*  使用两层for循环遍历每个元素
 *  外层列表中每个元素可以对应一行，也可以对应一列

# 一二维数据的Python表示 #

数据维度是数据的组织形式

*  一维数据：列表和集合类型  
    \[3.1398, 3.1349, 3.1376\] 数据间有序  
    \{3.1398, 3.1349, 3.1376\} 数据间无序
 *  二维数据：列表类型  
    \[ \[3.1398, 3.1349, 3.1376\],  
    \[3.1413, 3.1404, 3.1401\] \]

# CSV格式与二维数据存储 #

# CSV数据存储格式 #

CSV: Comma-Separated Values

*  国际通用的一二维数据存储格式，一般.csv扩展名
 *  每行一个一维数据，采用逗号分隔，无空行
 *  Excel和一般编辑软件都可以读入或另存为csv文件
 *  如果某个元素缺失，逗号仍要保留
 *  二维数据的表头可以作为数据存储，也可以另行存储
 *  逗号为英文半角逗号，逗号与数据之间无额外空格

# 二维数据的存储 #

按行存？按列存？

*  按行存或者按列存都可以，具体由程序决定
 *  一般索引习惯：ls\[row\]\[column\]，先行后列
 *  根据一般习惯，外层列表每个元素是一行，按行存

# 二维数据的处理 #

# 二维数据的读入处理 #

从CSV格式的文件中读入数据

fo = open(fname)
    ls = []
    for line in fo:
         line = line.replace("\n","")
         ls.append(line.split(",")) 
    fo.close()

# 二维数据的写入处理 #

将数据写入CSV格式的文件

ls = [[], [], []] #二维列表
    f = open(fname, 'w')
    for item in ls:
         f.write(','.join(item) + '\n') 
    f.close()

# 二维数据的逐一处理 #

采用二层循环

ls = [[], [], []] #二维列表
    for row in ls:
         for column in row:
               print(ls[row][column])

# 模块6: wordcloud库的使用 #

# wordcloud库概述 #

wordcloud是优秀的词云展示第三方库  
![1345166-20190427152852813-1543680400.png][]

*  词云以词语为基本单位，更加直观和艺术地展示文本

# wordcloud库的安装 #

(cmd命令行) pip install wordcloud

# wordcloud库使用说明 #

wordcloud库基本使用  
wordcloud库把词云当作一个WordCloud对象

*  wordcloud.WordCloud()代表一个文本对应的词云
 *  可以根据文本中词语出现的频率等参数绘制词云
 *  词云的绘制形状、尺寸和颜色都可以设定

# wordcloud库常规方法 #

w = wordcloud.WordCloud()

*  以WordCloud对象为基础
 *  配置参数、加载文本、输出文件

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">方法</th> 
   <th style="text-align:center;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">w.generate(txt)</td> 
   <td style="text-align:center;">向WordCloud对象w中加载文本txt &gt;&gt;&gt;w.generate("Python and WordCloud")</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">w.to_file(filename)</td> 
   <td style="text-align:center;">将词云输出为图像文件，.png或.jpg格式 &gt;&gt;&gt;w.to_file("outfile.png")</td> 
  </tr> 
 </tbody> 
</table>

import wordcloud
    c = wordcloud.WordCloud()
    c.generate("wordcloud by Python")
    c.to_file("pywordcloud.png")

*  步骤1：配置对象参数
 *  步骤2：加载词云文本
 *  步骤3：输出词云文件

![1345166-20190427153940837-248466817.png][]

# 配置对象参数 #

w = wordcloud.WordCloud()

<table> 
 <thead> 
  <tr> 
   <th style="text-align:center;">参数</th> 
   <th style="text-align:center;">描述</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td style="text-align:center;">width</td> 
   <td style="text-align:center;">指定词云对象生成图片的宽度，默认400像素</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">height</td> 
   <td style="text-align:center;">指定词云对象生成图片的高度，默认200像素</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">min_font_size</td> 
   <td style="text-align:center;">指定词云中字体的最小字号，默认4号</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">max_font_size</td> 
   <td style="text-align:center;">指定词云中字体的最大字号，根据高度自动调节</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">font_step</td> 
   <td style="text-align:center;">指定词云中字体字号的步进间隔，默认为1</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">font_path</td> 
   <td style="text-align:center;">指定字体文件的路径，默认None</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">max_words</td> 
   <td style="text-align:center;">指定词云显示的最大单词数量，默认200</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">stop_words</td> 
   <td style="text-align:center;">指定词云的排除词列表，即不显示的单词列表</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">mask</td> 
   <td style="text-align:center;">指定词云形状，默认为长方形，需要引用imread()函数</td> 
  </tr> 
  <tr> 
   <td style="text-align:center;">background_color</td> 
   <td style="text-align:center;">指定词云图片的背景颜色，默认为黑色</td> 
  </tr> 
 </tbody> 
</table>

# wordcloud应用实例 #

import wordcloud
    txt = "life is short, you need python"
    w = wordcloud.WordCloud( \
                   background_color = "white")
    w.generate(txt)
    w.to_file("pywcloud.png")

# 实例12: 政府工作报告词云 #

# "政府工作报告词云"问题分析 #

直观理解政策文件

*  需求：对于政府工作报告等政策文件，如何直观理解？
 *  体会直观的价值：生成词云 & 优化词云  
    政府工作报告等文件 ->有效展示的词云

#GovRptWordCloudv2.py
        import jieba
        import wordcloud
        from scipy.misc import imread
        mask = imread("chinamap.jpg")
        excludes = { }
        f = open("新时代中国特色社会主义.txt", "r", encoding="utf-8")
        t = f.read()
        f.close()
        ls = jieba.lcut(t)
        txt = " ".join(ls)
        w = wordcloud.WordCloud(\
            width = 1000, height = 700,\
            background_color = "white",
            font_path = "msyh.ttc", mask = mask
            )
        w.generate(txt)
        w.to_file("grwordcloudm.png")

转载于:https://www.cnblogs.com/xusze/p/10745753.html

[1345166-20190427114431127-1421147922.png]: /images/20220109/4e186758a147486f8c4f58c550547aca.png
[1345166-20190427152852813-1543680400.png]: /images/20220109/97860fa9c2f846b9b90da3b52852d4d9.png
[1345166-20190427153940837-248466817.png]: /images/20220109/8de22d2c19314c23ae5ebff0b81fd4c8.png