pandas读取csv,txt,excel文件

分手后的思念是犯贱 2023-02-23 08:55 14阅读 0赞

## 准备工作 导包 ##

import pandas as pd

## 读取csv文件 ##

### pandas的 read\_excel() 方法 ###

fpath = './datas/ml-latest-small/ratings.csv'
    # # 使用pd.read_csv读取数据
    ratings = pd.read_csv(fpath, engine='python', encoding='utf-8')

### 查看DataFrame的具体结构 ###

ratings.head() # 查看前几行数据

<table> 
 <thead> 
  <tr> 
   <th align="right"></th> 
   <th align="right">userId</th> 
   <th align="right">movieId</th> 
   <th align="right">rating</th> 
   <th align="right">timestamp</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="right">0</td> 
   <td align="right">1</td> 
   <td align="right">1</td> 
   <td align="right">4.0</td> 
   <td align="right">964982703</td> 
  </tr> 
  <tr> 
   <td align="right">1</td> 
   <td align="right">1</td> 
   <td align="right">3</td> 
   <td align="right">4.0</td> 
   <td align="right">964981247</td> 
  </tr> 
  <tr> 
   <td align="right">2</td> 
   <td align="right">1</td> 
   <td align="right">6</td> 
   <td align="right">4.0</td> 
   <td align="right">964982224</td> 
  </tr> 
  <tr> 
   <td align="right">3</td> 
   <td align="right">1</td> 
   <td align="right">47</td> 
   <td align="right">5.0</td> 
   <td align="right">964983815</td> 
  </tr> 
  <tr> 
   <td align="right">4</td> 
   <td align="right">1</td> 
   <td align="right">50</td> 
   <td align="right">5.0</td> 
   <td align="right">964982931</td> 
  </tr> 
 </tbody> 
</table>

### 查看结构 ###

ratings.shape   # 查看数据的形状，返回(行数、列数)
    (100836, 4)

### 查看所有列名 ###

ratings.columns  # 查看列名列表
    Index(['userId', 'movieId', 'rating', 'timestamp'], dtype='object')

### index ###

ratings.index # 查看索引列
    RangeIndex(start=0, stop=100836, step=1)
    ratings.dtypes  # 每个列名对应的数据类型
    userId         int64
    movieId        int64
    rating       float64
    timestamp      int64
    dtype: object

--------------------

## 读取txt文件 ##

# 设置txt文件的存储位置
    fpath = './datas/crazyant/access_pvuv.txt'

## 同样调用read\_csv()方法 ##

1.  设置切割对象为 \\t
2.  没有头部
3.  设置列名为 a,b,c

txt_demo = pd.read_csv(
        fpath,
        sep='\t',
        header=None,
        names=['a','b','c']
    )
    txt_demo.head()

--------------------

## 读取xls文件 ##

fpath = './datas/crazyant/access_pvuv.xlsx'

### pandas的 read\_excel() 方法 ###

xlsx_demo = pd.read_excel(fpath, engine='python', encoding='utf-8')
    xlsx_demo

## 读取数据库数据 ##

import pandas as pd
    from sqlalchemy import create_engine
    
    engin = create_engine("mysql+mysqlconnector://root:123456@localhost:3306/rabbit_test?charset=utf8")
    
    sql = '''select * from student'''
    
    # 查询结果
    df = pd.read_sql_query(sql, engin)
    print(df)

## 数据库插入数据 ##

# 新建pandas中DataFrame
    data = { 
        'id': [17, 18, 19],
        "name": ["yanxu", "shuaishuai", "xiaolong"],
        "age": [20, 22, 23],
        "class_id": [1, 2, 3]
    }
    df = pd.DataFrame(data)
    
    # 将新建的DataFrame储存为mysql中的数据表，index=True储存index列
    # if_exists:
    # 1.fail:如果表存在，啥也不做
    # 2.replace:如果表存在，删了表，再建立一个新表，把数据插入
    # 3.append:如果表存在，把数据插入，如果表不存在创建一个表！！
    df.to_sql("student", engin, index=False, if_exists="append")
    # 或者这种形式
    # pd.io.sql.to_sql(df, "student", con=engin, index=False, if_exists="append")
    print(df)