微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

PyTorch 中具有 log_softmax 的 CrossEntropyLoss 和 NNLLoss 之间的区别?

如何解决PyTorch 中具有 log_softmax 的 CrossEntropyLoss 和 NNLLoss 之间的区别?

当我在 PyTorch 中构建分类器时,我有两个选择

  1. 使用 nn.CrossEntropyLoss 而不对模型进行任何修改
  2. 使用 nn.NNLLoss添加 F.log_softmax 作为模型中的最后一层

所以有两种方法

现在,任何人都应该使用什么方法,为什么?

解决方法

它们是一样的。

如果您检查 the implementation,您会发现它在对传入参数应用 nll_loss 后调用 log_softmax

return nll_loss(log_softmax(input,1),target,weight,None,ignore_index,reduction)

免责声明:我特别回复“现在,任何人都应该使用什么方法,为什么?”不了解您的用例。

,

交叉熵和对数似然是同一公式的两种不同解释。在对数似然情况下,我们最大化正确类的概率(实际上是似然),这与最小化交叉熵相同。虽然你是对的,这两个都在文献中造成了一些歧义,但是,有一些微妙之处和警告,我强烈建议你阅读这个主题,因为这个主题已经在那里进行了严格的讨论。你可能会发现它很有用。

Cross-Entropy or Log-Likelihood in Output layer

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。