java 有类似pandas_删除具有重复索引的行（Pandas DataFrame和TimeSeries）

妖狐艹你老母 2022-11-11 14:50 329阅读 0赞

我正在从网上阅读一些自动天气数据 . 观察每5分钟发生一次，并编译成每个气象站的月度文件 . 一旦我完成了解析文件，DataFrame看起来像这样：

Sta Precip1hr Precip5min Temp DewPnt WindSpd WindDir AtmPress

Date

2001-01-01 00:00:00 KPDX 0 0 4 3 0 0 30.31

2001-01-01 00:05:00 KPDX 0 0 4 3 0 0 30.30

2001-01-01 00:10:00 KPDX 0 0 4 3 4 80 30.30

2001-01-01 00:15:00 KPDX 0 0 3 2 5 90 30.30

2001-01-01 00:20:00 KPDX 0 0 3 2 10 110 30.28

我遇到的问题是，有时科学家会回过头来纠正观察结果 - 不是通过编辑错误的行，而是通过在文件的末尾附加一个重复的行 . 这种情况的简单示例如下所示：

import pandas

import datetime

startdate = datetime.datetime(2001, 1, 1, 0, 0)

enddate = datetime.datetime(2001, 1, 1, 5, 0)

index = pandas.DatetimeIndex(start=startdate, end=enddate, freq='H')

data1 = \{'A' : range(6), 'B' : range(6)\}

data2 = \{'A' : \[20, -30, 40\], 'B' : \[-50, 60, -70\]\}

df1 = pandas.DataFrame(data=data1, index=index)

df2 = pandas.DataFrame(data=data2, index=index\[:3\])

df3 = df2.append(df1)

df3

A B

2001-01-01 00:00:00 20 -50

2001-01-01 01:00:00 -30 60

2001-01-01 02:00:00 40 -70

2001-01-01 03:00:00 3 3

2001-01-01 04:00:00 4 4

2001-01-01 05:00:00 5 5

2001-01-01 00:00:00 0 0

2001-01-01 01:00:00 1 1

2001-01-01 02:00:00 2 2

所以我需要 df3 才能成为：

A B

2001-01-01 00:00:00 0 0

2001-01-01 01:00:00 1 1

2001-01-01 02:00:00 2 2

2001-01-01 03:00:00 3 3

2001-01-01 04:00:00 4 4

2001-01-01 05:00:00 5 5

我认为添加一列行号( df3\['rownum'\] = range(df3.shape\[0\]) )可以帮助我为 DatetimeIndex 的任何值选择最底部的行，但我仍然坚持找出 group\_by 或 pivot (或???)语句来使工作 .

发表评论取消回复

表情：

评论列表（有 0 条评论，329人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pandas 删除DataFrame的方法总结

*输入数据： ** import pandas as pd data = { '证券名称': ['格力电器', '视觉中国',...

墨蓝/ 2024年04月20日 08:25/ 0 赞/ 98 阅读

相关 pandas.DataFrame删除/选取含有特定数值的行或列

1.删除/选取某列含有特殊数值的行 import pandas as pd import numpy as np a=np.array(\[\[1,2,3\],\[4

秒速五厘米/ 2024年02月19日 15:29/ 0 赞/ 89 阅读

相关 pandas根据索引删除dataframe列

> 如何根据索引删除dataframe的多个列呢？核心代码逻辑：要删除的列，注意索引是从0开始的 x = [0, 2, 8, 9, 10, 1

红太狼/ 2023年10月01日 10:35/ 0 赞/ 34 阅读

相关 Pandas 获得 Dataframe 的行数和列数

输入（DataFrame）： 0 1 2 3 4 5 6 7 8 9 10 11 1. 计算行数

约定不等于承诺〃/ 2023年06月07日 15:27/ 0 赞/ 43 阅读

相关 panda是删除行_Pandas系列中的删除行和清理索引

我有一个Pandas系列，基于一个随机数，我想选择一行(在下面的代码示例中为5)并删除该行。删除行时，我想为其余行(0到8)创建一个新索引。代码如下：print 'Origin

蔚落/ 2023年01月10日 05:17/ 0 赞/ 158 阅读

相关 Pandas:取DataFrame的行与列

> DatFrame是一种二维数据格式，类似于Excel表中的数据。 import pandas as pd import numpy as np d

旧城等待，/ 2022年12月05日 13:59/ 0 赞/ 230 阅读

相关 java 有类似pandas_删除具有重复索引的行（Pandas DataFrame和TimeSeries）

我正在从网上阅读一些自动天气数据 . 观察每5分钟发生一次，并编译成每个气象站的月度文件 . 一旦我完成了解析文件，DataFrame看起来像这样： Sta Precip1h

妖狐艹你老母/ 2022年11月11日 14:50/ 0 赞/ 330 阅读

相关 pandas.DataFrame 按行和列遍历DataFrame

Python:3.8.5 pandas:1.1.3 [][Link 1]按行遍历DataFrame： [pandas.DataFrame.i

「爱情、让人受尽委屈。」/ 2022年10月16日 09:53/ 0 赞/ 254 阅读

相关 pandas小记：pandas时间序列分析和处理Timeseries

http://[blog.csdn.net/pipisorry/article/details/52209377][blog.csdn.net_pipisorry_articl

r囧r小猫/ 2022年09月25日 06:20/ 0 赞/ 206 阅读

相关 pandas——DataFrame

Series 一维数据，带标签的数组 DataFrame 二维数据，Series容器 DataFrame import pandas as pd

阳光穿透心脏的1/2处/ 2021年11月27日 05:04/ 0 赞/ 430 阅读