在PyTorch函数中使用PyTorch模块的正确方法是什么？

如何解决在PyTorch函数中使用PyTorch模块的正确方法是什么？

我们有一个自定义torch.autograd.Function z(x,t)，它以不适合指导自动微分的方式计算输出y，并且已经针对其输入{ {1}}和x，因此我们可以实现t方法。

但是，该操作涉及对神经网络的多个内部调用，我们现已将其实现为backward个对象的堆栈，这些对象包装在torch.nn.Linear（一个net）中。在数学上，这些参数由torch.nn.Module参数化。

有没有办法让t本身成为net的{​​{1}}方法的输入？然后，我们将从forward返回上游梯度z和参数Jacobia backward的乘积列表，其中每个参数Dy都是{的子元素{1}}（除了dydt_i之外，尽管x是数据并且不需要梯度累积）。

还是我们真的需要采取ti（实际上是一个单独的net的列表），并在Dy*dydx中内部重构其中所有t层的动作t_i？

解决方法

我想您可以创建一个自定义仿函数，该仿函数继承torch.autograd.Function并使forward和backward方法为非静态（即，删除{{3}中的@staticmethod }，这样net可能是您函子的一个属性。看起来像

class MyFunctor(torch.nn.autograd.Function):
    def __init(net):
         self.net = net
    
     def forward(ctx,x,t):
         #store x and t in ctx in the way you find useful
         # not sure how t is involved here
         return self.net(x) 

     def backward(ctx,grad):
         # do your backward stuff

net = nn.Sequential(nn.Linear(...),...)
z = MyFunctor(net)
y = z(x,t)

这将产生警告，说明您正在使用不推荐使用的旧方法来创建autograd函数（由于使用非静态方法），并且在反向传播之后，您需要格外小心，将net中的梯度归零。因此，这并不是很方便，但是我不知道有什么更好的方法来实现有状态的autograd功能。