Pandas载入txt、csv、Excel、JSON、数据库文件讲解及实战（超详细附源码）

ゝ一纸荒年。 2023-09-30 18:46 14阅读 0赞

> **需要源码和数据集请点赞关注收藏后评论区留言私信~~~**

对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。Pandas库将外部数据转换为DataFrame数据格式，处理完成后再存储到相应的外部文件中

Pandas 常用的导入格式：import pandas as pd

## 1 文本文件读取 ##

文本文件是一种由若干行字符构成的计算机文件，它是一种典型的顺序文件

txt文件：是Windows操作系统上附带的一种文本格式，文件以.txt为后缀

CSV文件：是Comma-Separated Values的缩写，用半角逗号（’,’）作为字段值的分隔符。文件以纯文本形式存储表格数据

Pandas中使用read\_table来读取文本文件

> pandas.read\_table(filepath\_or\_buffer, sep=’\\t’, header=’infer’, names=None, index\_col=None, dtype=None, engine=None, nrows=None)

Pandas中使用read\_csv函数来读取CSV文件

> pandas.read\_csv(filepath\_or\_buffer, sep=’，’, header=’infer’, names=None, index\_col=None, dtype=None, engine=None, nrows=None)

表5-1 read\_table和read\_csv常用参数及其说明

![bf4048dc4eec4b29b82c3d6349c96d25.png][]

下面利用read\_csv函数读取csv文件

![03380c8c5860467ab339c5fb7509a52e.png][]

df1 = pd.read_csv("data//sunspots.csv")
     #读取CSV文件到DataFrame中
    print(df1.sample(5))
    
    df2 = pd.read_table("data//sunspots.csv",sep = ",")
     #使用read_table，并指定分隔符
    print("------------------")
    print(df2.sample(5))
    df3 = pd.read_csv("data//sunspots.csv",names = ["a","b"])
     #文件不包含表头行，允许自动分配默认列名，也可以指定列名
    print("------------------")
    print(df3.sample(5))

2. 文本文件的存储

文本文件的存储和读取类似，结构化数据可以通过pandas中的to\_csv函数实现以CSV文件格式存储文件

DataFrame.to\_csv(path\_or\_buf = None, sep = ’,’, na\_rep, columns=None, header=True, index=True, index\_label=None, mode=’w’, encoding=None)

## 2 读/写Excel文件 ##

1. Excel文件的读取

Pandas提供了read\_excel函数读取“xls”和“xlsx”两种excel文件，其格式为

pandas.read\_excel(io, sheetname, header=0, index\_col=None, names=None, dtype)

read\_excel函数和read\_table函数的部分参数相同

表5-2 Pandas读写Excel文件

![8bdbfe8b4e9d4039a8e8e669f1e594bc.png][]

读取excel文件

![106de0fea5f643c7b279f050a7a2fa42.png][]

xlsx = "data//data_test.xlsx"
    df1 = pd.read_excel(xlsx,"Sheet1")
    print(df1)
    #也可以直接利用： 
    df2 =  pd.read_excel("data//data_test.xlsx","Sheet1")
    print("-------------------------------")
    print(df2)

2. Excel文件的存储

将文件存储为Excel文件，可使用to\_excel方法。其语法格式如下

DataFrame.to\_excel(excel\_writer=None, sheetname=None’, na\_rep=”, header=True, index=True, index\_label=None, mode=’w’, encoding=None)

与 to\_csv方法的常用参数基本一致，区别之处在于指定存储文件的文件路径参数excel\_writer，增加了一个sheetnames参数，用来指定存储的Excel sheet的名称，默认为sheet1

## 3 JSON数据的读取与存储 ##

JSON (JavaScript Object Notation) 数据是一种轻量级的数据交换格式，因其简洁和清晰的层次结构使其成为了理想的数据交换语言。JSON数据使用大括号来区分表示并存储

1. Pandas读取JSON数据

Pandas通过read\_json函数读取JSON数据。读取代码如下

import pandas as pd
    df=pd.read_json(‘FileName’)
    df=df.sort_index

2. JSON数据的存储

Pandas使用pd.to\_json实现将DataFrame数据存储为JSON文件

## 4 读取数据库文件 ##

1.Pandas读取Mysql数据要读取Mysql中的数据，首先要安装Mysqldb包 然后进行数据文件读取 读取代码如下

import pandas as pd
    import MySQLdb
    conn = MySQLdb.connect(host = host,port = port,user = username,passwd = password,db = db_name) 
    df = pd.read_sql('select * from table_name',con=conn)  conn.close()

2. Pandas读取SQL sever中的数据，首先要安装pymssql包 然后进行数据文件读取 读取代码如下

import pandas as pd
    import pymssql
    conn = pymssql.connect(host=host, port=port ,user=username, password=password, database=database) 
    df = pd.read_sql("select * from table_name",con=conn)  conn.close()

**创作不易 觉得有帮助请点赞关注收藏~~~**

[bf4048dc4eec4b29b82c3d6349c96d25.png]: https://img-blog.csdnimg.cn/bf4048dc4eec4b29b82c3d6349c96d25.png
[03380c8c5860467ab339c5fb7509a52e.png]: https://img-blog.csdnimg.cn/03380c8c5860467ab339c5fb7509a52e.png
[8bdbfe8b4e9d4039a8e8e669f1e594bc.png]: https://img-blog.csdnimg.cn/8bdbfe8b4e9d4039a8e8e669f1e594bc.png
[106de0fea5f643c7b279f050a7a2fa42.png]: https://img-blog.csdnimg.cn/106de0fea5f643c7b279f050a7a2fa42.png