如何解决SGD Tensorflow和PyTorch SGD之间的实现差异
使用从Pytorch移植到TF2的相同代码进行培训时遇到的一些问题。
- Model.fit的收敛方式与Gradient Tape完全不同。 （并且更类似于Pytorch）
- tf.keras.optimizers.SGD的收敛与pytorch SGD完全不同。 （例如，在训练中，tf的LR为0.1不稳定，而在许多SOTA实施中都使用了相同的Pytorch起始LR）
我需要一个玩具示例来演示这个问题，而无需花费很多时间来训练，并且可以用几行代码来演示。有什么建议吗？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
