如何解决神经网络训练时loss不下降的问题
https://blog.ailemon.me/2019/02/26/solution-to-loss-doesnt-drop-in-nn-train/
1.batch_size影响很大！！
batch_size不是越大越好
一般来说，越大的batch-size使用越大的学习率。
2.shuffle数据之后loss开始上下波动，一直跳动，减小lr之后也不行
batch_size小？
3.梯度爆炸和消失https://blog.csdn.net/qq_25737169/article/details/78847691！！！！
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 [email protected] 举报，一经查实，本站将立刻删除。