假设您有一个1分钟时间序列的数据框,包含索引,4列和400万行.当你尝试做类似的事情:
conversion = {'Open': 'first','High': 'max','Low': 'min','Close': 'last'}
df1 = df.resample('5Min',how=conversion)
这需要一段荒谬的时间(20-30分钟).我怎样才能加快这个过程?
Pandas 18,Python 2.7
最佳答案
Resample似乎在大小(4000000,4)的数据集上运行得非常快:
idx = pd.date_range('1/1/2010',periods=4000000,freq='T')
df = pd.DataFrame(np.random.rand(4000000,4),columns = ["Open","High","Low","Close"],index = idx)
%timeit df.resample("5Min").agg(conversion)
1 loop,best of 3: 253 ms per loop
有一个不规则的索引和一些nan:
idx1 = pd.date_range('1/1/1900',periods=10000000,freq='Min')
idx2 = pd.date_range('1/1/1940',freq='Min')
idx3 = pd.date_range('1/1/1980',freq='Min')
idx4 = pd.date_range('1/1/2020',freq='Min')
idx = np.array([np.random.choice(idx1,1000000),np.random.choice(idx2,np.random.choice(idx3,np.random.choice(idx4,1000000)]).flatten()
np.random.shuffle(idx)
df = pd.DataFrame(np.random.randint(100,size=(4000000,4)),index = idx)
df.loc[np.random.choice(idx,100000),"Open"] = np.nan
df.loc[np.random.choice(idx,50000),"High"] = np.nan
df.loc[np.random.choice(idx,500000),"Low"] = np.nan
df.loc[np.random.choice(idx,20000),"Close"] = np.nan
%timeit df.resample("5Min").agg(conversion)
1 loop,best of 3: 5.06 s per loop
因此,似乎除了重新采样之外的其他事情需要时间来处理您的情况.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。