pyTorch梯度除以标量时变为无

如何解决pyTorch梯度除以标量时变为无

考虑以下代码块：

import torch as torch

n=10
x = torch.ones(n,requires_grad=True)/n
y = torch.rand(n)
z = torch.sum(x*y)
z.backward()
print(x.grad) # results in None
print(y)

按照书面规定，x.grad为无。但是，如果我通过移除标量乘法（ x ）来更改x = torch.ones(n,requires_grad=True)的定义，那么实际上我得到的非无梯度等于y。

我已经在Google上搜寻了很多问题，我认为这反映了我对火炬中的计算图的理解不了解的一些基本知识。我想澄清一下。谢谢！

解决方法

将x设置为张量除以某个标量后，x不再是PyTorch中所谓的“叶” Tensor。叶Tensor是计算图（这是DAG图，其节点表示诸如张量的对象，而边缘则表示数学运算）的开始处的张量。更具体地说，它是张量，它不是由autograd引擎跟踪的某些计算操作所创建的。

在您的示例中-torch.ones(n,requires_grad=True)是叶子张量，但是您不能直接在代码中访问它。 对于非叶子张量不保留grad的原因是，通常，当您训练网络时，权重和偏差是叶子张量，而它们正是我们需要的梯度。

如果要访问非叶张量的梯度，则应调用retain_grad函数，这意味着在代码中应添加：

x.retain_grad()

分配给x之后。