利用 Pandas 将数据集中的某列文本拆分为多行

我不是女神ヾ 2022-03-07 09:12 610阅读 0赞

### 背景 ###

手头的项目要求用 Tableau 创建一个 story，数据集是[摩拜上海城区用户使用数据][Link 1]。其中有一个维度的数据处理起来有点棘手。

### 数据格式 ###

![1467880661-5c62bb7974349_articlex][]

注意 track 这个维度的数据，它表示的是在订单时间内的行车轨迹，里面包含了大量坐标点。

按照 tidydata 的要求：

*  Each variable forms a column.
 *  Each observation forms a row.
 *  Each type of observational unit forms a table.

我需要将 track 的坐标拆分为多行。

![1793885632-5c62bb7976e16_articlex][]

### 神来之笔 ###

Google 了问题的解决方式，代码是

mobike.drop("track",axis = 1).join(mobike["track"].str.split("#",expand = True).stack().reset_index(level = 1,drop = True).rename("track"))

### 工作原理 ###

解决问题不能光知其然，不知其所以然。所以我将这行代码逐语句进行了拆分，一探代码内部的工作原理。

最外层代码是：

mobike.join({dataset})

这里调用了 dataframe 的 join 方法，很基础。

`{dataset}` 这部分做的工作比较多，首先是 split 方法。Python 的 split 方法可以将字符串按照指定的字符进行分割，这个例子中指定的字符是「\#」。如果不加参数 `expand = True`，`split()`会返回拆分后的字符串数组。

mobike["track"].str.split("#")
    # ["121.372,31.118","121.372,31.119","121.373,31.117","1...]
    # ["121.419,31.200","121.419,31.201","121.420,31.199","1...]
    # ...

加了 `expand = True` 会将数组拆开，数组中的每一个元素都会单独保存。

mobike["track"].str.split("#",expand = True)
    # "121.372,31.118" "121.372,31.119" "121.373,31.117" "1... 
    # "121.419,31.200" "121.419,31.201" "121.420,31.199" "1...
    # ...

到这里相当于将列中所有文本拆成了一个巨大的表，表中每个单元格有一个值。有些行拆分后的元素比较少，没有值可以填充的单元格补充 None

![3460161647-5c62bb797c687_articlex][]

`stack()` 会把整个表逐行堆叠成一列。

![2716917153-5c62bb796d99b_articlex][]

这样就成功的将一列中的所有文本拆分成了多行，而且它是一个 dataframe 。不过到这里还没有结束，我们还需要将拆出来的这个 dataframe 与原数据集合并。

注意到拆分出来的 dataframe 是多重索引的，需要用 `reset_index()` 将多重索引重置掉。在 `split()` 的时候，我们引入了超级多的 None。这时候就可以通过 `reset_index(..., drop =True)`将值为 None 的行删除。

与原数据集通过 `join()` 合并的时候，`A.join(B)`,A、B两个 DataFrame 都需要有名字，因此需要 `rename("track")`。

至此，我们的任务算做完了。

### 彩蛋 ###

我在列拆分为多行的基础上，还将 track 拆分成了两个变量——track\_x,track\_y。这里用到了 pandas 的函数映射进行数据转换。

mobike["track" = mobike["track"].split(",")
    mobike["track_x"] = mobike["track"].map(lambda x:x[0])
    mobike["track_y"] = mobike["track"].map(lambda x:x[1])

通过 map 进行列的扩展速度非常非常快。

> 本文用到的摩拜数据及演示 notebook 均可在 [DataWranglingMethod][Link 1]下载。

[Link 1]: https://github.com/DataMonologue/DataWranglingMethod
[1467880661-5c62bb7974349_articlex]: /images/20220307/969742d011a5419a8b6476be38bb2666.png
[1793885632-5c62bb7976e16_articlex]: /images/20220307/e1e9c7253cd4472d9965399ef5a0af37.png
[3460161647-5c62bb797c687_articlex]: /images/20220307/52bf6eae50f64181a988d0dfeafb8414.png
[2716917153-5c62bb796d99b_articlex]: /images/20220307/ea5cf40887d14f97a4d49aa126107092.png