如何解决应用于 Resnet50 的最后一个卷积层的 GlobalAveragePool2D 分布的非常大的值
为了训练应用于图像的回归任务，我使用 resnet50 作为主干并在顶部添加一些层。我添加的第一层是 GlobalAveragePool2D，它的形状为 (batch,2048)（因为 resnet50 “res5c_relu” 的最后输出具有 (batch,width,height,2048) 形状）。出于好奇（并且因为我的网络似乎没有学到任何有用的东西），我在进行任何学习之前查看了 GlobalAveragePool2D 层的激活（为十几个“正常”图像收集的激活）。我观察到右侧偏斜的分布，最小值为 0，最大值类似于 20000，平均值约为 5000。我的问题更多是关于观察到的大值（因为偏斜由 relu 解释）。我的输入图像在 [0,255] 范围内，在我的配置中对输入图像进行的唯一预处理是“caffe”处理（相对于 ImageNet 数据集将每个颜色通道置零，不缩放）：>
x -= [103.939,116.779,123.68]
在尝试对层、损失等进行实验之前，我想确保这种分布是正常的。
编辑：我意识到我的权重初始化（来自 ImageNet）不起作用。现在我的权重是好的，分布更像是 [0,2]。
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。