Pandas中字符串处理

淡淡的烟草味﹌ 2023-01-07 11:27 149阅读 0赞

# Pandas字符串处理 #

![在这里插入图片描述][resize_m_lfit_w_962_pic_center]  
[Series.str字符串方法列表参考文档][Series.str]

### 文章目录 ###

*  Pandas字符串处理
 *   *   *  读取数据
         *  获取Series的str属性，使用各种字符串处理函数
         *  使用str的startswith、contains等得到bool的Series可以做条件查询
         *  需要多次str处理的链式操作
         *  使用正则表达式的处理

> Pandas的字符串处理：

1.  使用方法：先获取Series的str属性，然后在属性上调用函数；
2.  只能在字符串列上使用，不能数字列上使用；
3.  Dataframe上没有str属性和处理方法
4.  Series.str并不是Python原生字符串，而是自己的一套方法，不过大部分和原生str很相似；

***本节演示内容：***

1.  获取Series的str属性，然后使用各种字符串处理函数
2.  使用str的startswith、contains等bool类Series可以做条件查询
3.  需要多次str处理的链式操作
4.  使用正则表达式的处理

### 读取数据 ###

import pandas as pd

df = pd.read_csv("data.xlsx")
    df.head()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>ymd</th> 
   <th>bWendu</th> 
   <th>yWendu</th> 
   <th>tianqi</th> 
   <th>fengxiang</th> 
   <th>fengli</th> 
   <th>aqi</th> 
   <th>aqiInfo</th> 
   <th>aqiLevel</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>0</td> 
   <td>2018-01-01</td> 
   <td>3℃</td> 
   <td>-6℃</td> 
   <td>晴~多云</td> 
   <td>东北风</td> 
   <td>1-2级</td> 
   <td>59</td> 
   <td>良</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>1</td> 
   <td>2018-01-02</td> 
   <td>2℃</td> 
   <td>-5℃</td> 
   <td>阴~多云</td> 
   <td>东北风</td> 
   <td>1-2级</td> 
   <td>49</td> 
   <td>优</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>2018-01-03</td> 
   <td>2℃</td> 
   <td>-5℃</td> 
   <td>多云</td> 
   <td>北风</td> 
   <td>1-2级</td> 
   <td>28</td> 
   <td>优</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>2018-01-04</td> 
   <td>0℃</td> 
   <td>-8℃</td> 
   <td>阴</td> 
   <td>东北风</td> 
   <td>1-2级</td> 
   <td>28</td> 
   <td>优</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>2018-01-05</td> 
   <td>3℃</td> 
   <td>-6℃</td> 
   <td>多云~晴</td> 
   <td>西北风</td> 
   <td>1-2级</td> 
   <td>50</td> 
   <td>优</td> 
   <td>1</td> 
  </tr> 
 </tbody> 
</table>

df.dtypes

ymd          object
    bWendu       object
    yWendu       object
    tianqi       object
    fengxiang    object
    fengli       object
    aqi           int64
    aqiInfo      object
    aqiLevel      int64
    dtype: object

### 获取Series的str属性，使用各种字符串处理函数 ###

df["bWendu"].str

<pandas.core.strings.StringMethods at 0x1af21871808>

# 字符串替换函数
    df["bWendu"].str.replace("℃", "")

0       3
    1       2
    2       2
    3       0
    4       3
           ..
    360    -5
    361    -3
    362    -3
    363    -2
    364    -2
    Name: bWendu, Length: 365, dtype: object

# 判断是不是数字
    df["bWendu"].str.isnumeric()

0      False
    1      False
    2      False
    3      False
    4      False
           ...  
    360    False
    361    False
    362    False
    363    False
    364    False
    Name: bWendu, Length: 365, dtype: bool

df["aqi"].str.len()

### 使用str的startswith、contains等得到bool的Series可以做条件查询 ###

condition = df["ymd"].str.startswith("2018-03")

condition

0      False
    1      False
    2      False
    3      False
    4      False
           ...  
    360    False
    361    False
    362    False
    363    False
    364    False
    Name: ymd, Length: 365, dtype: bool

df[condition].head()

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>ymd</th> 
   <th>bWendu</th> 
   <th>yWendu</th> 
   <th>tianqi</th> 
   <th>fengxiang</th> 
   <th>fengli</th> 
   <th>aqi</th> 
   <th>aqiInfo</th> 
   <th>aqiLevel</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>59</td> 
   <td>2018-03-01</td> 
   <td>8℃</td> 
   <td>-3℃</td> 
   <td>多云</td> 
   <td>西南风</td> 
   <td>1-2级</td> 
   <td>46</td> 
   <td>优</td> 
   <td>1</td> 
  </tr> 
  <tr> 
   <td>60</td> 
   <td>2018-03-02</td> 
   <td>9℃</td> 
   <td>-1℃</td> 
   <td>晴~多云</td> 
   <td>北风</td> 
   <td>1-2级</td> 
   <td>95</td> 
   <td>良</td> 
   <td>2</td> 
  </tr> 
  <tr> 
   <td>61</td> 
   <td>2018-03-03</td> 
   <td>13℃</td> 
   <td>3℃</td> 
   <td>多云~阴</td> 
   <td>北风</td> 
   <td>1-2级</td> 
   <td>214</td> 
   <td>重度污染</td> 
   <td>5</td> 
  </tr> 
  <tr> 
   <td>62</td> 
   <td>2018-03-04</td> 
   <td>7℃</td> 
   <td>-2℃</td> 
   <td>阴~多云</td> 
   <td>东南风</td> 
   <td>1-2级</td> 
   <td>144</td> 
   <td>轻度污染</td> 
   <td>3</td> 
  </tr> 
  <tr> 
   <td>63</td> 
   <td>2018-03-05</td> 
   <td>8℃</td> 
   <td>-3℃</td> 
   <td>晴</td> 
   <td>南风</td> 
   <td>1-2级</td> 
   <td>94</td> 
   <td>良</td> 
   <td>2</td> 
  </tr> 
 </tbody> 
</table>

### 需要多次str处理的链式操作 ###

怎样提取201803这样的数字月份？  
1、先将日期2018-03-31替换成20180331的形式  
2、提取月份字符串201803

df["ymd"].str.replace("-", "")

0      20180101
    1      20180102
    2      20180103
    3      20180104
    4      20180105
             ...   
    360    20181227
    361    20181228
    362    20181229
    363    20181230
    364    20181231
    Name: ymd, Length: 365, dtype: object

# 每次调用函数，都返回一个新Series
    df["ymd"].str.replace("-", "").slice(0, 6)

### 使用正则表达式的处理 ###

# 添加新列
    def get_nianyueri(x):
        year,month,day = x["ymd"].split("-")
        return f"{year}年{month}月{day}日"
    df["中文日期"] = df.apply(get_nianyueri, axis=1)

df["中文日期"]

0      2018年01月01日
    1      2018年01月02日
    2      2018年01月03日
    3      2018年01月04日
    4      2018年01月05日
              ...     
    360    2018年12月27日
    361    2018年12月28日
    362    2018年12月29日
    363    2018年12月30日
    364    2018年12月31日
    Name: 中文日期, Length: 365, dtype: object

问题：怎样将“2018年12月31日”中的年、月、日三个中文字符去除？

# 方法1：链式replace
    df["中文日期"].str.replace("年", "").str.replace("月","").str.replace("日", "")

0      20180101
    1      20180102
    2      20180103
    3      20180104
    4      20180105
             ...   
    360    20181227
    361    20181228
    362    20181229
    363    20181230
    364    20181231
    Name: 中文日期, Length: 365, dtype: object

***Series.str默认就开启了正则表达式模式***

# 方法2：正则表达式替换
    df["中文日期"].str.replace("[年月日]", "")

[resize_m_lfit_w_962_pic_center]: /images/20221119/7573f7f3cbd24f6799e8d9f50074fa5c.png
[Series.str]: https://pandas.pydata.org/pandas-docs/stable/reference/series.html#string-handling