熊猫仅在有意义时重新采样

如何解决熊猫仅在有意义时重新采样

我有一个非常不规则的时间序列。两个记录之间的时间差可以是 1s 或 10 天。

我想每 1h 重新采样一次数据，但仅当连续记录小于 1h 时。

如何在不产生太多循环的情况下解决这个问题？

在上面的示例中，我只想重新采样第 5-6 行（差异为 10 秒）和第 6-7 行（差异为 50 分钟）。 其他人应该保持原样。

tmp=vals[['datumtijd','filter data']]

     datumtijd           filter data
0   1970-11-01 00:00:00        129.0
1   1970-12-01 00:00:00        143.0
2   1971-01-05 00:00:00        151.0
3   1971-02-01 00:00:00        151.0
4   1971-03-01 00:00:00        163.0
5   1971-03-01 00:00:10        163.0
6   1971-03-01 00:00:20        163.0
7   1971-03-01 00:01:10        163.0
8   1971-03-01 00:04:10        163.0
..         ...          ...
244 1981-08-19 00:00:00        102.0
245 1981-09-02 00:00:00         98.0
246 1981-09-17 00:00:00         92.0
247 1981-10-01 00:00:00         89.0
248 1981-10-19 00:00:00         92.0

解决方法

您可以通过在时间戳的小时楼层上使用 groupby 来明确说明这一点：

grouped = df.groupby(df['datumtijd'].dt.floor('1H')).mean()

这是明确查找每个现有数据点的小时数并将匹配的数据点分组。

但您也可以只进行重新采样，然后过滤掉空数据，因为 pandas 仍然可以很快完成此操作：

resampled = df.resample('1H',on='datumtijd').mean().dropna()

无论哪种情况，您都会得到以下信息（请注意，我更改了上次时间戳只是为了让控制台显示小时数）：

                     filter data
datumtijd                       
1970-11-01 00:00:00        129.0
1970-12-01 00:00:00        143.0
1971-01-05 00:00:00        151.0
1971-02-01 00:00:00        151.0
1971-03-01 00:00:00        163.0
1981-08-19 00:00:00        102.0
1981-09-02 00:00:00         98.0
1981-09-17 00:00:00         92.0
1981-10-01 00:00:00         89.0
1981-10-19 03:00:00         92.0

还有一个快速说明。在您的示例中，第 5-8 行都出现在同一小时内，因此它们都组合在一起（小时：分钟：秒）！

另请参阅此 related post。