如何解决GAN 生成器损耗不会下降
我正在将深度学习应用于语音转换任务(即让源说话者听起来像目标说话者)。在接触 GAN 之前,我有一个获得不错结果的基线(即只有生成器),在预测的梅尔谱图和目标梅尔谱图之间对 MSELoss 进行训练。
为了帮助提高预测的自然度,我尝试添加 GAN 鉴别器。我正在使用受 PatchGAN 启发的鉴别器并遵循此 repo ("Jointly Adversarial Enhancement Training for Robust End-to-End Speech Recognition") 的训练范式。
然而,我的以下损失曲线对我来说似乎不对。似乎 GAN 处于收敛失败状态,在这种情况下,生成器的对抗性损失下降然后恢复并收敛——而鉴别器的损失降低到几乎为零。
因此,预测的质量似乎与基线相同。有没有人对我如何让对抗性损失继续下降并接近 discrim_real 损失有任何见解?任何见解将不胜感激。
编辑:我尝试过让鉴别器的初始学习率比初始生成器的初始学习率低一个数量级。我已经尝试在生成器首次训练一些开始时期后开始训练鉴别器。两种方法似乎都降低了 gan 损失,但随着时间的推移它会再次回升。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。