如何解决Pandas 在多列上使用 apply 函数扩展
是否可以使用panda的扩展函数,使用window对象的几列来计算多项式回归的系数?
我有一个数据框,它有两列,一个预测变量和一个响应。我想使用熊猫的扩展()函数来计算每个扩展系列对的二阶多项式回归的相应系数。对于每一行,我想从应用于所有先前行的回归中获取更新的系数。
import pandas as pd
import numpy as np
def func1(df):
# some processing
return np.polyfit(df['Input'],df['Response'],2)
def func2(x,y):
# some processing
return np.polyfit(x,y,2)
np.random.seed(0)
df = pd.DataFrame(np.random.rand(10,2).round(2),columns=['Input','Response'])
df[['Coef1','Coef2','Coef3']] = df.expanding(min_periods=3).apply(func)
我希望输出如下所示:
>>> df
Input Response Coef1 Coef2 Coef3
0 0.63 0.23 NaN NaN NaN
1 0.45 0.11 NaN NaN NaN
2 0.17 0.71 NaN NaN NaN
3 0.17 0.32 0.19 0.54 0.50
4 0.65 0.99 0.48 0.23 0.60
5 0.21 0.54 0.71 0.89 0.97
6 0.63 0.73 0.22 0.05 0.80
7 0.54 0.23 0.87 0.01 0.25
8 0.33 0.06 0.18 0.96 0.03
9 0.18 0.72 0.13 0.38 0.13
我的不同尝试导致了两种类型的错误。如果我使用使用数据帧作为参数的函数,例如在 df[['Coef1','Coef3']] = df.expanding(min_periods=3).apply(func1))
中,我会得到 KeyError: 'Input'
。
如果我使用第二个函数在 df['Coef1','Coef3'] = df.expanding(min_periods=3).apply(lambda x: func2(x['Input'],x['Output']))
之前提取参数,我得到
DataError: No numeric types to aggregate
但是,如果我尝试例如 df.expanding().cov(pairwise=True)
,它表明可以对 expanding
返回的对象的不同列执行计算。
这里有一个类似的问题:Apply expanding function on dataframe。但是,在函数中调用扩展()的解决方案似乎不适用于这种情况。
我将不胜感激任何指示或建议。
我找到了一个使用 numpy 执行此操作的包:3jane.github.io/numpy_ext,因此它启发我手动执行此操作:
def func_np(df):
length = len(df)
if length == 1:
return [[0],[0],[0]]
coef1,coef2,coef3 = [],[],[]
x = df['A'].to_numpy() # This is the predictor column
y = df['B'].to_numpy() # This is the response column
for step in range(1,length + 1):
weights = np.polyfit(x[: step],y[: step],2) # 2 is the polynomial's order
coef1.append(weights[0])
coef2.append(weights[1])
coef3.append(weights[2])
# Note that coef1,coef3 correspond to the polynomial terms from highest to lowest
# It is easier to return a data frame,so that we can reassign the result to the initial one
return pd.DataFrame({'Coef1': coef1,'Coef2': coef2,'Coef3': coef3})
我想用 Numba 来加快执行速度,但它无法识别 np.polyfit 函数。此外,我还没有找到一种巧妙的方法将结果分配回初始数据框。这就是为什么我仍然对使用 expand() 的简单且更“pythonic”的解决方案感兴趣
解决方法
我怀疑您正在寻找的是即将到来的 df.expanding(...,method='table')
中的新 pandas=1.3
(请参阅 "Other enhancements")。
与此同时,您可以使用循环“手动”完成(抱歉):
xy = df.values
df['c1 c2 c3'.split()] = np.stack([
func2(*xy[:n].T) if n >= 3 else np.empty(3)*np.nan
for n in range(xy.shape[0])
])
示例:
np.random.seed(0)
df = pd.DataFrame(np.random.rand(10,2).round(2),columns=['Input','Response'])
# the code above,then
>>> df
Input Response c1 c2 c3
0 0.55 0.72 NaN NaN NaN
1 0.60 0.54 NaN NaN NaN
2 0.42 0.65 NaN NaN NaN
3 0.44 0.89 -22.991453 22.840171 -4.887179
4 0.96 0.38 -29.759096 29.213620 -6.298277
5 0.79 0.53 0.454036 -1.369701 1.272156
6 0.57 0.93 0.122450 -0.874260 1.113586
7 0.07 0.09 -1.010312 0.623331 0.696287
8 0.02 0.83 -2.687387 2.995143 -0.079214
9 0.78 0.87 -1.425030 1.294210 0.442684
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。