如何解决使用 tensorlfow 进行深度学习:GradientTape 实现中的问题
以下代码是对我的训练循环的 3 种不同测试,在前两种情况下,梯度返回 Null 向量,在最后一种情况下有效。
这是我第一次尝试,根据网上的资料,with语句记录了里面的可训练变量。
for epoch in range(epochsize):
for batch in batchlist:
loss_value = tf.constant(0.)
mini_batch_losses = []
for seqref in batch:
seqref=int(seqref)
with tf.GradientTape() as tape:
X_train,y_train = loadvalue(seqref) #caricamento elementi
logits = model(X_train,training=True)
loss_value = loss_fn(y_train,logits)
mini_batch_losses.append(loss_value)
loss_avg = tf.reduce_mean(mini_batch_losses)
print("batch " + str(seqref) + " losses:" + str(loss_avg.numpy()))
grads = tape.gradient(loss_avg,model.trainable_weights)
optimizer.apply_gradients(grads_and_vars=zip(grads,model.trainable_weights))
但由于某些原因它不起作用,所以我尝试(随机)将 with 语句放在前面,但它也不起作用
for epoch in range(epochsize):
for batch in batchlist:
loss_value = tf.constant(0.)
mini_batch_losses = []
with tf.GradientTape() as tape:
for seqref in batch:
seqref=int(seqref)
X_train,model.trainable_weights))
最后,包括with语句中的平均值,它终于起作用了
for epoch in range(epochsize):
for batch in batchlist:
loss_value = tf.constant(0.)
mini_batch_losses = []
with tf.GradientTape() as tape:
for seqref in batch:
seqref=int(seqref)
X_train,logits)
mini_batch_losses.append(loss_value)
loss_avg = tf.reduce_mean(mini_batch_losses)
print("batch " + str(seqref) + " losses:" + str(loss_avg.numpy()))
grads = tape.gradient(loss_avg,model.trainable_weights))
主要问题是我不知道它是否有效或只是有效..所以我需要更详细地了解gradientTape是如何工作的。你能帮我吗?
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。