如何解决为什么在以下功能中未连接渐变?
def difference(prod,Box):
result = tf.Variable(tf.zeros((prod.shape[0],Box.shape[1]),dtype=tf.float16))
for i in tf.range(0,prod.shape[0]):
for j in tf.range(0,Box.shape[1]):
result[i,j].assign((tf.reduce_prod(Box[:,j])-tf.reduce_prod(prod[i,:]))/tf.reduce_prod(Box[:,j]))
return result
我无法计算相对于盒子的梯度,tape.gradient()返回None,这是我编写的用于计算梯度的代码
prod = tf.constant([[3,4,5],[4,5,6],[1,3,3]],dtype=tf.float16)
Box = tf.Variable([[4,[5,7]],dtype=tf.float16)
with tf.GradientTape() as tape:
tape.watch(Box)
loss = difference(prod,Box)
print(tape.gradient(loss,Box))
我无法找到未连接的渐变的原因。是 result 变量引起的吗?请提出一种替代实施方式。
解决方法
是的,为了计算梯度,我们需要对变量进行一组(可微分)运算。
您应该根据2个输入张量重写difference
。我认为(尽管很坦率地说,我不是100%肯定!)是使用“赋值”使渐变色带掉下来的。
也许是这样的:
def difference(prod,box):
box_red = tf.reduce_prod(box,axis=0)
prod_red = tf.reduce_prod(prod,axis=1)
return (tf.expand_dims(box_red,0) - tf.expand_dims(prod_red,1)) / tf.expand_dims(box_red,0)
将为您带来预期的结果
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。