如何解决Pytorch 中的标准化是如何运作的?
这一定是一个非常基本的问题,但即使在尝试了一些东西之后我还是不明白如何
Pytorch
中的规范化有效。
我想将大小为 x
的张量 (2,2,3)
中所有列的均值设置为 0,将标准差设置为 1。
一个简单的例子:
norm = transforms.normalize((0,0),(1,1))
x = torch.tensor([[[1.0,3],[4,5,6]],[[7,8,9],[10,11,12]]])
out = norm(x)
print(x)
print(out)
给予
tensor([[[ 1.,2.,3.],[ 4.,5.,6.]],[[ 7.,8.,9.],[10.,11.,12.]]])
tensor([[[ 1.,12.]]])
所以标准化没有任何改变。为什么?
解决方法
实际回答您的问题。您现在已经意识到 torchvision.transforms.Normalize
不像您预期的那样工作。那是因为它不是要标准化(使您的数据范围在 [0,1]
中)也不是标准化(使您的数据的 mean=0
和 std=1
,这就是您要查找的内容)您的数据。执行的只是一个移位缩放操作:
output[channel] = (input[channel] - mean[channel]) / std[channel]
given mean
和 std
,将其称为 Normalize
感觉违反直觉......所以很自然 {{ 1}} 给出了 (input - 0) / 1
,这根本没有帮助。
但是,如果您提供 output = input
和 mean=mean(data)
作为参数,那么您最终会逐个计算数据通道的 z-score,这通常称为 “标准化”。因此,为了实际获得 std=std(data)
和 mean=0
,您首先需要计算数据的均值和标准差。
如果你这样做:
std=1
它将分别为您提供全球平均值和全球标准。
相反,您想要测量每个通道。所以我们希望 >>> mean,std = x.mean(),x.std()
(tensor(6.5000),tensor(3.6056))
和 .mean()
在所有维度上期望 .std()
。为此,我们可以对 dim=1
和 dim=0
进行置换,将所有轴预期为 dim=1
(现在是置换后的通道轴)并调用 dim=0
和 .mean(dim=1)
, 即沿扁平尺寸。
.std(dim=1)
以上是沿每个通道测量的 >>> flattened = x.permute(1,2).flatten(start_dim=1)
>>> mean,std = flattened.mean(dim=1),flattened.std(dim=1)
(tensor([5.,8.]),tensor([3.4059,3.4059]))
的正确平均值和标准偏差。从那里你可以继续使用 x
- 现在正确 - 标准化 torchvision.transforms.Normalize(mean,std)
或任何其他具有相同缩放比例的张量。
x
,
按照 documentation of torchvision.transforms.Normalize 上的说明进行操作:
使用均值和标准差对张量图像进行标准化。给定的意思: (mean[1],...,mean[n]) 和 std: (std[1],..,std[n]) 对于 n 个通道,这个 变换将标准化输入火炬的每个通道。 *张量即, 输出[通道] = (输入[通道] - 平均值[通道])/标准[通道]
因此,如果您有 mead=0
和 std=1
,那么 output=(output - 0) / 1
不会改变。
以上解释的例子:
from torchvision import transforms
import torch
norm = transforms.Normalize((0,0),(1,2))
x = torch.tensor([[[1.0,2,3],[4,5,6]],[[7,8,9],[10,11,12]]])
out = norm(x)
print(x)
print(out)
输出:
tensor([[[ 1.,2.,3.],[ 4.,5.,6.]],[[ 7.,8.,9.],[10.,11.,12.]]])
tensor([[[1.0000,2.0000,3.0000],[4.0000,5.0000,6.0000]],[[3.5000,4.0000,4.5000],[5.0000,5.5000,6.0000]]])
如您所见,第一个通道没有变化,第二个通道被除以 2.
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。