层之间的 Pytorch 操作添加和平均

如何解决层之间的 Pytorch 操作添加和平均

我正在构建一个 pytorch nn 模型，该模型使用两个并行顺序层之间的跳过连接。这种模式被称为合并运行。我将包括论文出版物中给出的模型图像。 merge-and-run model 您可以在文献中查找它以获取有关其工作原理的更多参考。我遇到的问题是将跳过连接从一层的输出添加和划分到模型中更远的点的操作。这些跳过连接中涉及的操作之一是加法。我正在使用以下代码进行此添加：

def forward(self,x):
    x = self.relu1(self.conv1(x))
    print("X size: ",x.size())
    av0 = (x + x)/2

    b1 = self.block1_up(av0)
    b2 = self.block1_up(av0)
    
    print("av0 size: ",av0.size())
    print("b1 size: ",b1.size())
    add1 = b1 + av0
    add2 = b2 + av0

打印语句分别项目如下：

X size:  torch.Size([128,64,32,32])
av0 size:  torch.Size([128,32])
b1 size:  torch.Size([128,128,1,1])

但是在计算“add1”时出现以下错误：

RuntimeError: The size of tensor a (128) must match the size of tensor b (64) at non-singleton dimension 1

我曾尝试更改 av0 的尺寸，以便它可以使用 Torch 提供的 view() 函数与 b1 配合，但这并没有多大帮助。对此类问题有什么帮助吗？

谢谢。