python-使用已知的谷值平滑时间序列的函数

随着时间的推移,我获得了Internet测量实验的结果,如下图所示.我正在用熊猫进行时间序列分析.某些数据下降是由于服务器中断造成的.我正在寻找平滑数据的好方法.

在更简单的内置平滑函数中,pd.rolling_max()提供了一个合理的估计值.但是,它高估了一点.我还尝试编写自己的平滑函数,当下降幅度大于20％时,该函数会转发值.这也提供了合理的估计,但是阈值是任意设置的.

def my_smooth(win, thresh = 0.80):
    win = win.copy()
    for i, val in enumerate(win):
        if i > 1 and val < win[i-1] * thresh:
            win[i] = win[i-1]       
    return win[-1]

ts = pd.rolling_apply(ts, 6, my_smooth)

我的问题是,鉴于特定的特征,对于这种类型的时间序列,哪种平滑函数更好？ (即,它是事件的计数,主要的测量误差在特定时间的计数之下很大).另外,我建议的平滑功能是否可以减少即席设置或优化？

解决方法:

我想补充一下我最终如何为其他感兴趣的人解决此问题.首先,在研究了多种平滑技术之后,由于它会更改数据,我最终决定不进行平滑处理.相反,我选择过滤掉10％的点作为异常值,这是机器学习和信号处理中的常见技术.

在我们的案例中,异常值是由于测量记录失败而导致的低测量值.有多种检测异常值的技术,其中很流行的是在NIST的Engineering Statistics Handbook中命名的.鉴于我的数据趋势明显,我选择了“中位数绝对偏差”的变体：将测量序列中的每个点与滚动中值,产生差异,并适当选择截止点.

# 'data' are the weekly measurements, in a Pandas series
filtered = data.copy()
dm = pd.rolling_median(data, 9, center=True) 
df = sorted(np.abs(data - dm).dropna(), reverse=True)
cutoff = df[len(df) // 10]
filtered[np.abs(data - dm) > cutoff] = np.nan