如何解决如何在PyTorch中制定这个特定的学习率调度程序？
我正在使用基于变压器的模型，但无法使用PyTorch制定此学习率调度程序
lrate = d_model ^ 0.5 * min( step_num ^ 0.5,step_num * warmup_steps ^ -1.5)
谢谢
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
