如何解决Pytorch如何构建计算图
这是网站上的示例pytorch代码:
class Net(nn.Module):
def __init__(self):
super(Net,self).__init__()
# 1 input image channel,6 output channels,3x3 square convolution
# kernel
self.conv1 = nn.Conv2d(1,6,3)
self.conv2 = nn.Conv2d(6,16,3)
# an affine operation: y = Wx + b
self.fc1 = nn.Linear(16 * 6 * 6,120) # 6*6 from image dimension
self.fc2 = nn.Linear(120,84)
self.fc3 = nn.Linear(84,10)
def forward(self,x):
# Max pooling over a (2,2) window
x = F.max_pool2d(F.relu(self.conv1(x)),(2,2))
# If the size is a square you can only specify a single number
x = F.max_pool2d(F.relu(self.conv2(x)),2)
x = x.view(-1,self.num_flat_features(x))
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = self.fc3(x)
return x
在forward函数中,我们仅对x应用了一系列转换,但从未明确定义哪些对象属于该转换的一部分。然而,当计算梯度和更新权重时,Pytorch神奇地知道要更新哪些权重以及应该如何计算梯度。
此过程如何进行?是否正在进行代码分析,或者我还缺少其他内容?
解决方法
是的,在前向通过方面存在隐式分析。检查结果张量,有一个类似grad_fn= <CatBackward>
的东西,它是一个链接,允许您展开整个计算图。而且它是在真实的正向计算过程中构建的,无论您如何定义网络模块(以“ nn”或“功能”方式面向对象)。
您可以利用此图进行网络分析,就像torchviz
在这里:https://github.com/szagoruyko/pytorchviz/blob/master/torchviz/dot.py
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。