如何解决为什么第二次编译后损失会增加？
我目前正在开展一个项目，该项目要求我在使用 Tensorflow 进行训练期间更改模型架构。 添加了新的权重，并删除了其他权重。模型需要重新编译，以便优化器识别新的权重并为它们计算梯度。
但是我注意到，在编译网络后，损失只会在再次下降后上升（参见here） 在编译后的第一步中，损失仍然和以前一样低，但增加得很快。 This 问题与我的相似，但只是说你应该
使用上次训练的列表（手动或从回调获得）初始化第二次训练验证精度。
但是我找不到有关如何执行此操作的任何资源。 我的尝试包括：
- 使用 SGD 而不是 Adam，因为它不应该依赖于之前的状态
- 添加上一次
for (i = 0; i < thisQuarter.length; i++) { if (thisQuarter[i][0] == "Yes" { // send email } }调用的历史记录 - 将
function getTokenPrice(address pairAddress,uint amount) public view returns(uint) { IPancakeswapV2Pair pair = IPancakeswapV2Pair(pairAddress); IBEP20 token1 = IBEP20(pair.token1()); (uint Res0,uint Res1,) = pair.getReserves(); // decimals uint res0 = Res0*(10**token1.decimals()); return((amount*res0)/Res1); // return amount of token0 needed to buy token1 }设置为它在上一次调用中执行的 epoch 数 - 以上所有组合
我使用 https://www.tensorflow.org/datasets/keras_example 中的修改示例重新创建了该问题，并增加了网络复杂性，因为尖峰的高度似乎随着网络规模的增加而增加：
model.fit()This 是结果图。 在这个例子中，我没有改变网络，而是使用不同的优化器编译，无论你选择哪种组合，我都会测试损失峰值。 （如果你在不改变模型的情况下使用 model.optimizer 进行编译，损失不会增加，这让我觉得我必须改变优化器。但 SGD 也不起作用，这让我感到困惑）
这与在使用另一个 model._train_counter 调用恢复后恢复模型训练相同。
我使用的是 Tensorflow 2.5.0 版
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
