微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

时间序列数据如何插补缺失值?

 当然第一步仍然是判断是Missing at Random 还是Missing Not at Random,一般前者删除,后者插补。但是插补不一定能带来更好结果,要先自己根据缺失比例,和原因判断。

1、就近插补:前推法LOCF, 替换为缺失之前的最后一次观测值,与后推法NOCB, 使用缺失值后面的观测值进行填补。这个是时序当中最基本的方法,当然还有用Baseline Observaton, 或者啥Worst observation,目前生科实验好像有用。

2、线性插值:这个也是历史悠久方法, 假定时序之间变动有很强的趋势。早期天文学缺失数据都用这个方法

3、季节性+线性插值: 经济数据或者季节波动数据,采用这样的方法。同时具备季节性和总体趋势性,很多季节、气候变动相关数据都可以。

4、均值中位数众数,没有考虑时序因素。但是假如你认为时序数据里面基本没有很强趋势,也是可以的。当然里面也还有 比如Conditional Mean这样改进方法

5、多值插补/机器学习: Multiple Imputation , expectation-maximization , Nearest Neighbor ,和 Hot Deck 方法,这些方法都依赖于缺失数据不同属性间关系,寻找最类似样本。如果使用R的话,mice, VIM, AMELIA等都可以用来插补,但是这个必须是多变量时序。如果单变量时序,无法找不同属性关联,用ImputeTS, 然后zoo, 或者forecast。

6、当然还要区别分类还是数值,如果类别变量,NA直接可以划分新分类

除了这些统计方法, 我想每个领域里面缺失值都肯定还要借鉴专业知识来判断。比如以国家军费缺失数据为例,如果你知道因为战乱带来的缺失。那么战时数据比和平年代数据就更合适,很简单就近填补。

然后插补不同学科可能都有认或者建议的方法,比如社会学或者人口学无应答问卷数据,大量采用hotdeck,就是假定类似用户类似行为,US Census Bureau也在用。

气候数据,看到有的文章在研究气候变化时采用expectation-maximization algorithm,R里面mtsdi见这篇文章 Imputation of missing data in time series for air pollutants。当然python的话里面也有很多。

最后,插补数据方法上如果你对数据生成机制很熟悉的情况下,可能一些简单方法就可以。对于本身纯粹依赖算法,不能给出解释机制的插补有疑虑。为什么说要增加专业知识判断,因为缺失本身表明这些样本信息不足, 专业知识判断就相当于额外增补信息。

 

链接

https://www.zhihu.com/question/355799116/answer/1574303138

 

 

 

https://github.com/xinychen/transdim

 

 

 

 

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐