如何解决分布式训练时如何在 TensorFlow 中应用梯度裁剪？
我想知道在分布式训练时如何在 TensorFlow 中应用梯度裁剪。 这是我的代码：
@lazy_property
def optimize(self):
# train_vars = ...
optimizer = tf.train.AdamOptimizer(self._learning_rate)
self.syn_op = tf.train.SyncReplicasOptimizer(optimizer,replicas_to_aggregate=self.gradient_merge,total_num_replicas=self.worker_count,use_locking=True)
self.sync_replicas_hook = self.syn_op.make_session_run_hook(is_chief=self.is_chief)
return self.syn_op.minimize(self.cost,var_list=train_vars,global_step=self.global_step)
我已阅读此答案：How to apply gradient clipping in TensorFlow。 下面是答案中渐变剪辑的代码：
optimizer = tf.train.AdamOptimizer(learning_rate=learning_rate)
gvs = optimizer.compute_gradients(cost)
capped_gvs = [(tf.clip_by_value(grad,-1.,1.),var) for grad,var in gvs]
train_op = optimizer.apply_gradients(capped_gvs)
我应该在哪里更改以在我的情况下使用它？
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
