使用 DateTimeIndex 仅在 Pandas 数据帧中插入短间隙

如何解决使用 DateTimeIndex 仅在 Pandas 数据帧中插入短间隙

我正在寻找一种仅在具有 DateTimeIndex 的 Pandas DataFrame 中的短间隙内插值的方法。长间隙应保持原样。

df = pd.DataFrame(
    { "value": [ 1,np.nan,3,5,11,21,41 ] },index=pd.to_datetime( [ 
        "2021-01-01 00:00","2021-01-01 00:05","2021-01-01 00:10","2021-01-01 00:11","2021-01-01 00:13","2021-01-01 00:14","2021-01-01 00:15","2021-01-01 01:30","2021-01-01 03:00","2021-01-01 04:00","2021-01-01 05:45","2021-01-01 06:45",] )
)

                     value
2021-01-01 00:00:00    1.0
2021-01-01 00:05:00    NaN
2021-01-01 00:10:00    3.0
2021-01-01 00:11:00    NaN
2021-01-01 00:13:00    NaN
2021-01-01 00:14:00    5.0
2021-01-01 00:15:00    NaN
2021-01-01 01:30:00   11.0
2021-01-01 03:00:00    NaN
2021-01-01 04:00:00   21.0
2021-01-01 05:45:00    NaN
2021-01-01 06:45:00   41.0

我们的想法是保持超过特定时间（在本例中为 >5 分钟）的间隙，但在较短的间隙内插入所有缺失值。

interpolate() 有一个 limit 参数，用于限制要插入的缺失值的数量，但这不考虑行之间的时间增量，仅考虑行数。

我希望结果是这样的：

                         value
2021-01-01 00:00:00   1.000000
2021-01-01 00:05:00   2.000000
2021-01-01 00:10:00   3.000000
2021-01-01 00:11:00   3.500000
2021-01-01 00:13:00   4.500000
2021-01-01 00:14:00   5.000000
2021-01-01 00:15:00        NaN
2021-01-01 01:30:00  11.000000
2021-01-01 03:00:00        NaN
2021-01-01 04:00:00  21.000000
2021-01-01 05:45:00        NaN
2021-01-01 06:45:00  41.000000

解决方法

此解决方案填补了时间跨度小于指定值的价值差距。填充的值在值差距的时间跨度（时间插值）内与条目的位置成比例地设置。儒略日期用于更容易计算。

设置最大时间跨度间隙以填充时间插值。 5 分钟。

jd_max_gap_fill = 5/(60*24)

计算价值差距：

df['ffill'] = df['value'].ffill()
df['value_gap'] = df['value'].bfill() - df['value'].ffill()

获取条目的儒略日期：

df['jd'] = df.index.to_julian_date()

计算时间间隔：

df['jd_nan'] = np.where(~df['value'].isna(),df['jd'],np.nan)
df['jd_gap'] = df['jd_nan'].bfill() - df['jd_nan'].ffill()

时间方面，计算我们距离价值差距有多远：

df['jd_start'] = df['jd_nan'].ffill() 
df['jd_prp'] = np.where(df['jd_gap'] != 0,(df['jd'] - df['jd_start'])/df['jd_gap'],0)

计算时间插值：

df['filled_value'] = np.where(df['jd_gap'] <= jd_max_gap_fill,df['ffill'] + df['value_gap'] * df['jd_prp'],np.nan) 

df['filled_value']

2021-01-01 00:00:00     1.0
2021-01-01 00:05:00     NaN
2021-01-01 00:10:00     3.0
2021-01-01 00:11:00     3.5
2021-01-01 00:13:00     4.5
2021-01-01 00:14:00     5.0
2021-01-01 00:15:00     NaN
2021-01-01 01:30:00    11.0
2021-01-01 03:00:00     NaN
2021-01-01 04:00:00    21.0
2021-01-01 05:45:00     NaN
2021-01-01 06:45:00    41.0

请注意，我的输出与您的预期输出不同，因为第一个 NaN 有 10 分钟的间隔。