优化程序步骤执行后，网络权重保持不变

如何解决优化程序步骤执行后，网络权重保持不变

我的网络只是拒绝训练。为了简化代码阅读工作，我简化了一些复杂的逻辑。如有需要，将进行更多更新。

model = DistMultNN()
optimizer = optim.SGD(model.parameters(),lr=0.0001)
for t in range(500):
    e1_neg = sampling_logic()
    e2_neg = sampling_logic()

    e1_pos = sampling_logic()
    r = sampling_logic()
    e2_pos = sampling_logic()
    optimizer.zero_grad()
    y_pred = model(tuple(zip(e1_pos,r,e2_pos)),e1_neg,e2_neg)
    loss = model.loss(y_pred)
    loss.backward()
    optimizer.step()

我的网络定义如下

class DistMultNN(nn.Module):

    def __init__(self):
        super().__init__()
        self.seed = 42
        self.entities_embedding = nn.init.xavier_uniform_(
            torch.zeros((self.NO_ENTITIES,self.ENCODING_DIM),requires_grad=True))
        self.relation_embedding = nn.init.xavier_uniform_(
            torch.zeros((self.NO_RELATIONSHIPS,requires_grad=True))
        self.W = torch.rand(self.ENCODING_DIM,self.ENCODING_DIM,requires_grad=True)  # W is symmetric,todo: requireGrad?
        self.W = (self.W + self.W.t()) / 2
        self.b = torch.rand(self.ENCODING_DIM,1,requires_grad=True)
        self.lambda_ = 1.
        self.rnn = torch.nn.RNN(input_size=encoding_dim,hidden_size=1,num_layers=1,nonlinearity='relu')
        self.loss_func = torch.nn.LogSoftmax(dim=1)

    def loss(self,y_pred):
        softmax = -1 * self.loss_func(y_pred)
        result = torch.mean(softmax[:,0])
        result.requires_grad = True
        return result

    def forward(self,samples,e1neg,e2neg):
        batch_size = len(samples)
        batch_result = np.zeros((batch_size,len(e1neg[0]) + 1))
        for datapoint_id in range(batch_size):
            entity_1 = entities_embed_lookup(datapoint_id[0])
            entity_2 = entities_embed_lookup(datapoint_id[2])
            r = relation_embed_lookup(datapoint_id[1])
            x = self.some_fourier_transform(entity_1,entity_2)
            batch_result[datapoint_id][0] = self.some_matmul(x)
            for negative_example_id in range(len(e1neg[0])):
                same_thing_with_negative_examples()
                batch_result[datapoint_id][negative_example_id + 1] = self.some_matmul(x)
        batch_result_tensor = torch.tensor(data=batch_result)
        return batch_result_tensor

我尝试使用例如print(model.rnn.all_weights)在训练循环中，但它们没有改变。我做错了什么？

解决方法

因此，首先不需要result.requires_grad = True，实际上应该抛出错误，因为结果通常不是叶子变量。

因此，在最后，您将根据numpy数组创建一个新的张量：

batch_result_tensor = torch.tensor(data=batch_result)

，根据此结果，您可以计算损失并希望将其退回。这是行不通的，因为batch_result_tensor不是计算梯度所需的任何计算图的一部分。您不能只用这种方式混合numpy和火炬。

前进功能必须包含带有火炬张量的操作，如果要更新和优化它们，它们需要渐变。因此，默认情况是您具有图层，这些图层的权重张量需要渐变。您有一个输入，可以将其传递到图层，因此将构建计算图并将所有操作记录在其中。

因此，我将开始制作batch_result的火炬张量并删除batch_result_tensor = torch.tensor(data=batch_result)和result.requires_grad = True。您可能需要进行更多更改。