如何使用 numpy 对泊松回归进行最大似然估计MLE

如何解决如何使用 numpy 对泊松回归进行最大似然估计MLE

我目前正在尝试了解泊松回归上下文中的 MLE 是如何工作的。因此，我试图使用 numpy 从头开始​​计算泊松回归。此外，我尝试使用梯度下降来解决 MLE。然而，我计算的损失保持不变，我猜测我对梯度的表示不正确。

按照我在此处找到的示例：https://web.stanford.edu/class/archive/stats/stats200/stats200.1172/Lecture27.pdf

这里说梯度应该这样表示： MLE gradient

这就是我使用 numpy 实现它的方式，其中 X 是协变量矩阵，weights 是我要学习的系数：

y_pred = np.exp(np.dot(X,weights))
gradient = np.dot(X.T,(y - y_pred))

这是我的完整代码：

n_samples,n_features = X.shape
weights = np.zeros(n_features)

def forward(X,weights):
    return np.exp(np.dot(X,weights))

def gradient(y,y_pred,X):
    gradient = np.dot(X.T,(y - y_pred))
    return gradient


lr = 0.01
n_iter = 3000
for i in range(n_iter): 
    # predicting
    y_pred = forward(X,weights)
    # computing loss
    loss = np.sqrt(np.mean((y-y_pred)**2))
    if i % 250 == 0: 
        print(loss)
    
    # calculating gradient and updating weights
    calc_gradient = gradient(y,X)
    weights -= lr * calc_gradient

对我在这里做错的任何帮助表示高度赞赏！