如何解决Pandas：如何用平均值填充缺失数据？
我每 5 秒从远程设备读取一些数据。
它们被保存为：
2018-01-01 00:00:00 2
2018-01-01 00:00:05 3
2018-01-01 00:00:10 3
2018-01-01 00:00:15 2
2018-01-01 00:00:20 3
2018-01-01 00:00:25 4
2018-01-01 00:00:30 3
2018-01-01 00:00:35 2
2018-01-01 00:00:40 4
2018-01-01 00:00:45 5
2018-01-01 00:00:50 3
2018-01-01 00:00:55 3
唉，沟通不是最好的，有时沟通也行不通。
在这种情况下，远程设备将尽快提供数据的累积值。
之前的数据可以保存为：
2018-01-01 00:00:00 2
2018-01-01 00:00:05 3
2018-01-01 00:00:10 3
.......... 00:00:15 missing...
.......... 00:00:20 missing...
.......... 00:00:25 missing...
2018-01-01 00:00:30 12 <--- sum of the last 4 readings
2018-01-01 00:00:35 2
.......... 00:00:40 missing...
.......... 00:00:45 missing...
2018-01-01 00:00:50 15 <--- sum of the last 3 readings
2018-01-01 00:00:55 3
我需要填充所有缺失的行，并使用峰值计算的平均值去除原始数据中的峰值。 >
重新采样很容易：
2018-01-01 00:00:00 2
2018-01-01 00:00:05 3
2018-01-01 00:00:10 3
2018-01-01 00:00:15 NaN
2018-01-01 00:00:20 NaN
2018-01-01 00:00:25 NaN
2018-01-01 00:00:30 12
2018-01-01 00:00:35 2
2018-01-01 00:00:40 NaN
2018-01-01 00:00:45 NaN
2018-01-01 00:00:50 15
2018-01-01 00:00:55 3
但是如何填充 NaN 并去除峰？
我检查了 asfreq 和 resample 的各种方法，但没有一个（bfill、ffill）在这种情况下有用。
最终结果应该是：
2018-01-01 00:00:00 2
2018-01-01 00:00:05 3
2018-01-01 00:00:10 3
2018-01-01 00:00:15 3 <--- NaN filled with mean = peak 12/4 rows
2018-01-01 00:00:20 3 <--- NaN filled with mean
2018-01-01 00:00:25 3 <--- NaN filled with mean
2018-01-01 00:00:30 3 <--- peak changed
2018-01-01 00:00:35 2
2018-01-01 00:00:40 5 <--- NaN filled with mean = peak 15/3 rows
2018-01-01 00:00:45 5 <--- NaN filled with mean
2018-01-01 00:00:50 5 <--- peak changed
2018-01-01 00:00:55 3
我用于测试的数据帧：
import numpy as np
import pandas as pd
time = pd.date_range(start='2021-01-01',freq='5s',periods=12)
read_data = pd.Series([2,3,np.nan,12,2,15,3],index=time).dropna()
read_data.asfreq("5s")
解决方法
一种方式：
m = (read_data.isna() | read_data.shift(fill_value= 0).isna()).astype(int)
read_data = read_data.bfill() / m.groupby(m.ne(m.shift()).cumsum()).transform('count').where(m.eq(1),1)
输出：
2021-01-01 00:00:00 2.0
2021-01-01 00:00:05 3.0
2021-01-01 00:00:10 3.0
2021-01-01 00:00:15 3.0
2021-01-01 00:00:20 3.0
2021-01-01 00:00:25 3.0
2021-01-01 00:00:30 3.0
2021-01-01 00:00:35 2.0
2021-01-01 00:00:40 5.0
2021-01-01 00:00:45 5.0
2021-01-01 00:00:50 5.0
2021-01-01 00:00:55 3.0
Freq: 5S,dtype: float64
完整示例：
import numpy as np
import pandas as pd
time = pd.date_range(start='2021-01-01',freq='5s',periods=12)
read_data = pd.Series([2,3,np.nan,12,2,15,3],index=time).dropna()
read_data = read_data.asfreq("5s")
m = (read_data.isna() | read_data.shift(fill_value= 0).isna()).astype(int)
read_data = read_data.bfill() / m.groupby(m.ne(m.shift()).cumsum()).transform('count').where(m.eq(1),1)
这可以通过分割（分组）来实现每组：
all isJust maybeList说明：
首先将您的原始系列转换为数据框并引入另一列 idx，它将唯一地将每一行标识为单个组：
>>> read_data = read_data.to_frame(name='val').assign(idx=range(len(read_data)))
>>> read_data = read_data.asfreq('5s').bfill()
>>> read_data = read_data/read_data.groupby('idx').transform(len)
>>> read_data.drop('idx',axis=1,inplace=True)
>>> read_data.val
2021-01-01 00:00:00 2.0
2021-01-01 00:00:05 3.0
2021-01-01 00:00:10 3.0
2021-01-01 00:00:15 3.0
2021-01-01 00:00:20 3.0
2021-01-01 00:00:25 3.0
2021-01-01 00:00:30 3.0
2021-01-01 00:00:35 2.0
2021-01-01 00:00:40 5.0
2021-01-01 00:00:45 5.0
2021-01-01 00:00:50 5.0
2021-01-01 00:00:55 3.0
Freq: 5S,Name: val,dtype: float64
重采样插入缺失值，然后用峰值回填缺失值：
>>> read_data = read_data.to_frame(name='val').assign(idx=range(len(read_data)))
>>> read_data
val idx
2021-01-01 00:00:00 2.0 0
2021-01-01 00:00:05 3.0 1
2021-01-01 00:00:10 3.0 2
2021-01-01 00:00:30 12.0 3
2021-01-01 00:00:35 2.0 4
2021-01-01 00:00:50 15.0 5
2021-01-01 00:00:55 3.0 6
正如您现在看到的，回填值与其峰值在同一组中（具有相同的 idx）。
所以 >>> read_data = read_data.asfreq('5s').bfill()
>>> read_data
val idx
2021-01-01 00:00:00 2.0 0.0
2021-01-01 00:00:05 3.0 1.0
2021-01-01 00:00:10 3.0 2.0
2021-01-01 00:00:15 12.0 3.0
2021-01-01 00:00:20 12.0 3.0
2021-01-01 00:00:25 12.0 3.0
2021-01-01 00:00:30 12.0 3.0
2021-01-01 00:00:35 2.0 4.0
2021-01-01 00:00:40 15.0 5.0
2021-01-01 00:00:45 15.0 5.0
2021-01-01 00:00:50 15.0 5.0
2021-01-01 00:00:55 3.0 6.0
groupby 只需将值除以每组的长度。删除 idx 列：
idx版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
