python：pandas中dataframe的基本用法汇总

男娘i 2023-02-26 05:22 21阅读 0赞

**更加详细的内容可以查看：[https://blog.csdn.net/hhtnan/article/details/80080240][https_blog.csdn.net_hhtnan_article_details_80080240] （基本函数整理）**

[https://blog.csdn.net/LY\_ysys629/article/details/54428838][https_blog.csdn.net_LY_ysys629_article_details_54428838]

[https://www.cnblogs.com/timotong/p/9678490.html][https_www.cnblogs.com_timotong_p_9678490.html]

**一.  DataFrame的创建**

创建一个空的dataframe

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df=pd.DataFrame(columns={ </code><code>"a"</code><code>:</code><code>""</code><code>,</code><code>"b"</code><code>:</code><code>""</code><code>,</code><code>"c"</code><code>:</code><code>""</code><code>},index=[0])</code></p> </td> 
  </tr> 
 </tbody> 
</table>

out:

用list的数据创建dataframe：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>a&nbsp;</code><code>=</code>&nbsp;<code>[[</code><code>'2'</code><code>,&nbsp;</code><code>'1.2'</code><code>,&nbsp;</code><code>'4.2'</code><code>], [</code><code>'0'</code><code>,&nbsp;</code><code>'10'</code><code>,&nbsp;</code><code>'0.3'</code><code>], [</code><code>'1'</code><code>,&nbsp;</code><code>'5'</code><code>,&nbsp;</code><code>'0'</code><code>]]</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>pd.DataFrame(a, columns</code><code>=</code><code>[</code><code>'one'</code><code>,&nbsp;</code><code>'two'</code><code>,&nbsp;</code><code>'three'</code><code>])</code></p> <p><code>print</code>&nbsp;<code>df</code></p> </td> 
  </tr> 
 </tbody> 
</table>

out：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> </td> 
   <td> <p><code>&nbsp;&nbsp;</code><code>one&nbsp; two three</code></p> <p><code>0</code>&nbsp;&nbsp;&nbsp;<code>2</code>&nbsp;&nbsp;<code>1.2</code>&nbsp;&nbsp;&nbsp;<code>4.2</code></p> <p><code>1</code>&nbsp;&nbsp;&nbsp;<code>0</code>&nbsp;&nbsp;&nbsp;<code>10</code>&nbsp;&nbsp;&nbsp;<code>0.3</code></p> <p><code>2</code>&nbsp;&nbsp;&nbsp;<code>1</code>&nbsp;&nbsp;&nbsp;&nbsp;<code>5</code>&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;<code>0</code></p> </td> 
  </tr> 
 </tbody> 
</table>

用numpy的矩阵创建dataframe

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>array&nbsp;</code><code>=</code>&nbsp;<code>np.random.rand(</code><code>5</code><code>,</code><code>3</code><code>)</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>pd.DataFrame(array,columns</code><code>=</code><code>[</code><code>'first'</code><code>,</code><code>'second'</code><code>,</code><code>'third'</code><code>])</code></p> </td> 
  </tr> 
 </tbody> 
</table>

用dict的数据创建DataFrame

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>data&nbsp;</code><code>=</code>&nbsp;<code>{&nbsp;</code><code>'row1'</code>&nbsp;<code>: [</code><code>1</code><code>,</code><code>2</code><code>,</code><code>3</code><code>,</code><code>4</code><code>],&nbsp;</code><code>'row2'</code>&nbsp;<code>: [</code><code>'a'</code>&nbsp;<code>,&nbsp;</code><code>'b'</code>&nbsp;<code>,&nbsp;</code><code>'c'</code>&nbsp;<code>,&nbsp;</code><code>'d'</code><code>] }</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>pd.DataFrame(data)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>dict</code>&nbsp;<code>=</code>&nbsp;<code>{&nbsp;</code><code>'row1'</code>&nbsp;<code>: [</code><code>1</code><code>,</code><code>2</code><code>,</code><code>3</code><code>,</code><code>4</code><code>],&nbsp;</code><code>'row2'</code>&nbsp;<code>: [</code><code>'a'</code>&nbsp;<code>,&nbsp;</code><code>'b'</code>&nbsp;<code>,&nbsp;</code><code>'c'</code>&nbsp;<code>,&nbsp;</code><code>'d'</code><code>] }</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>pd.DataFrame.from_dict(</code><code>dict</code><code>,orient</code><code>=</code><code>'index'</code><code>).T</code></p> </td> 
  </tr> 
 </tbody> 
</table>

读取csv或者excel文件为DataFrame格式

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df</code><code>=</code><code>pd.read_csv(</code><code>'D:/Program Files/example.csv'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

excel一个表格中可能有多个sheet，sheetname可以进行选取

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.read_excel(</code><code>'D:/Program Files/example.xls'</code><code>,sheetname</code><code>=</code><code>0</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**二. DataFrame的一些描述和类型**

describe会显示dataframe的一些基本统计数据，数量、均值、中位数、标准差等

head会显示dataframe的前几行，后几行：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>df.describe()</code></p> <p><code>print</code>&nbsp;<code>df.head()&lt;br&gt;</code><code>print</code>&nbsp;<code>df.tail(</code><code>10</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

单独计算某列的统计值

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> <p>4</p> <p>5</p> </td> 
   <td> <p><code>df[</code><code>'one'</code><code>].</code><code>sum</code><code>()</code></p> <p><code>df[</code><code>'one'</code><code>].mean()</code></p> <p><code>df[</code><code>'one'</code><code>].count()</code></p> <p><code>df[</code><code>'one'</code><code>].</code><code>max</code><code>()</code></p> <p><code>df[</code><code>'one'</code><code>].</code><code>min</code><code>()</code></p> </td> 
  </tr> 
 </tbody> 
</table>

查看dataframe的数据类型：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>（df.dtypes）</code></p> </td> 
  </tr> 
 </tbody> 
</table>

查看dataframe的数据数目：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>（df.size）</code></p> </td> 
  </tr> 
 </tbody> 
</table>

查看dataframe的形状：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>(df.shape)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

返回列数：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>(df.ndim)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

查看横纵坐标的标签名：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>(df.axes)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**三. DataFrame的切片**

iloc索引或切片（iloc中只能取整数值）：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>df.iloc[</code><code>1</code><code>,:]&nbsp;</code><code>#第1行，所有列</code></p> <p><code>print</code>&nbsp;<code>df.iloc[:,[</code><code>0</code><code>,</code><code>2</code><code>]]&nbsp;</code><code>#第0行，第0列和第2列</code></p> <p><code>print</code>&nbsp;<code>df[</code><code>'one'</code><code>].iloc[</code><code>2</code><code>]&nbsp;</code><code>#列名索引+行号</code></p> </td> 
  </tr> 
 </tbody> 
</table>

loc索引或切片（loc中可以取str）：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>print</code>&nbsp;<code>data.loc[</code><code>0</code><code>:</code><code>1</code><code>, [</code><code>'one'</code><code>, three']]&nbsp;</code><code>#</code></p> </td> 
  </tr> 
 </tbody> 
</table>

筛选出dataframe中有某一个或某几个字符串的列：

筛选出dataframe中不含某一个或某几个字符串的列，相当于反选

--------------------

**四. 缺失值的处理**

缺失值可以删除也可以用均值或者0等数填充：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>df.fillna(df1.mean())</code></p> <p><code>df.fillna(</code><code>0</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

删除缺失值时可以指定列：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.dropna(subset</code><code>=</code><code>[</code><code>'one'</code><code>,</code><code>'two'</code><code>])</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**五. 去重、删除行或列**

去重需要在subset指定哪一列的值进行筛选，如果不选择的话默认整行的值全部一样才去掉

first表示保留第一个出现的值所在行，last表示保留最后一个出现的重复值所在的行，false表示重复的行全部删除

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df</code><code>=</code><code>df.drop_duplicates(subset</code><code>=</code><code>'one'</code><code>,keep</code><code>=</code><code>'first'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

去除有NaN值的行或列(axis=0去除行，=1去除列)：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.dropna(axis</code><code>=</code><code>0</code><code>)</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.dropna(axis</code><code>=</code><code>1</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

去除某一列：

去除含有某一个数的行：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>row_list&nbsp;</code><code>=</code>&nbsp;<code>df[df.one&nbsp;</code><code>=</code><code>=</code>&nbsp;<code>2</code><code>].index.tolist()&nbsp;</code><code># 获得含有该值的行的行号</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.drop(row_list)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**六. DataFrame的修改**

修改数据类型

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df[</code><code>'one'</code><code>]</code><code>=</code><code>pd.DataFrame(df[</code><code>'one'</code><code>],dtype</code><code>=</code><code>np.</code><code>float</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改列名（需要写上所有列名，包括需要修改的和不需要修改的）：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df.columns&nbsp;</code><code>=</code>&nbsp;<code>[</code><code>'first'</code><code>,</code><code>'second'</code><code>,</code><code>'all'</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改列名（只需写上需要修改的列）

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df.rename(columns&nbsp;</code><code>=</code>&nbsp;<code>{ </code><code>'one'</code><code>:</code><code>'first'</code><code>,</code><code>'two'</code><code>:</code><code>'second'</code><code>},inplace&nbsp;</code><code>=</code>&nbsp;<code>True</code><code>)&nbsp;</code><code>#inplace=True表示修改df，若为False表示只返回一个修改后的数据</code></p> </td> 
  </tr> 
 </tbody> 
</table>

重排序(by可以取多个列名,默认升序)：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.sort_values(by</code><code>=</code><code>[</code><code>'one'</code><code>],ascending&nbsp;</code><code>=</code>&nbsp;<code>True</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.sort_index(axis&nbsp;</code><code>=</code>&nbsp;<code>0</code><code>,ascending&nbsp;</code><code>=</code>&nbsp;<code>True</code><code>,by&nbsp;</code><code>=</code>&nbsp;<code>'one'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.sort(columns&nbsp;</code><code>=</code>&nbsp;<code>[</code><code>'one'</code><code>],axis&nbsp;</code><code>=</code>&nbsp;<code>0</code><code>,ascending&nbsp;</code><code>=</code>&nbsp;<code>True</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

修改数据

用已有的列进行运算创建新的列

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df[</code><code>'new_colume'</code><code>]&nbsp;</code><code>=</code>&nbsp;<code>df[</code><code>'one'</code><code>]&nbsp;</code><code>+</code>&nbsp;<code>df[</code><code>'two'</code><code>]</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**七. dataframe更改索引**

当删除掉不需要的行时，行索引会变的不连续，这时候可以重新设计新的索引

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>df[</code><code>'index'</code><code>]</code><code>=</code><code>range</code><code>(</code><code>len</code><code>(df[</code><code>'one'</code><code>]))</code></p> <p><code>df.set_index(</code><code>'index'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

设置时间序列为索引

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> <p>3</p> </td> 
   <td> <p><code>dd&nbsp;</code><code>=</code>&nbsp;<code>pd.date_range(start</code><code>=</code><code>'4/1/2018'</code><code>,periods</code><code>=</code><code>5</code><code>)</code></p> <p><code>#dd = pd.date_range('4/1/2018','4/5/2018')</code></p> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.set_index(dd)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**八. 添加新的行，将两个dataframe连接到一起**

axis表示连接的方向，axis=0表示两个dataframe的行数会增加，如果列名相同则直接共用列，如果列名不同会生成新的列；axis=1，表示会加上新的列

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df</code><code>=</code><code>pd.concat([df,df],axis</code><code>=</code><code>0</code><code>)&nbsp;</code><code># 连接后行数是以前的2倍，列数不变</code></p> </td> 
  </tr> 
 </tbody> 
</table>

在dataframe添加新的行

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>df.append(df.loc[</code><code>2</code><code>,:],,ignore_index</code><code>=</code><code>True</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

如果两个dataframe的列名是一样的，也可以用merge：

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>df&nbsp;</code><code>=</code>&nbsp;<code>pd.merge(df,df)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

--------------------

**九. DataFrame的输出**

输出为excel或者csv格式,csv文件里的数据被读取时数据类型默认为object，excel则会保留原有的数据类型

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> <p>2</p> </td> 
   <td> <p><code>df.to_excel(</code><code>'path/filename.xls'</code><code>)</code></p> <p><code>df.to_csv(</code><code>'path/filename.csv'</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

输出为numpy的矩阵格式

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>matrix&nbsp;</code><code>=</code>&nbsp;<code>df.ax_matrix()</code></p> </td> 
  </tr> 
 </tbody> 
</table>

输出为dict格式

<table> 
 <tbody> 
  <tr> 
   <td> <p>1</p> </td> 
   <td> <p><code>dict</code>&nbsp;<code>=</code>&nbsp;<code>df.to_dict(orient</code><code>=</code><code>"dict"</code><code>)</code></p> </td> 
  </tr> 
 </tbody> 
</table>

[https_blog.csdn.net_hhtnan_article_details_80080240]: https://blog.csdn.net/hhtnan/article/details/80080240
[https_blog.csdn.net_LY_ysys629_article_details_54428838]: https://blog.csdn.net/LY_ysys629/article/details/54428838
[https_www.cnblogs.com_timotong_p_9678490.html]: https://www.cnblogs.com/timotong/p/9678490.html