如何解决使用 tf.GradientTape() wrt 输入的梯度是 None (Tensorflow 2.4)
这是我的模型。我使用的是 Tensorflow 2.4.1。
model = tf.keras.Sequential([
tf.keras.layers.Embedding(input_dim=1000,output_dim=64,name='embedding',mask_zero=True),tf.keras.layers.Bidirectional(tf.keras.layers.LSTM(32)),tf.keras.layers.Dense(16,activation='relu'),tf.keras.layers.Dense(4,name='logits')
])
metrics = [tf.keras.metrics.SparseCategoricalAccuracy()]
# compile the model
model.compile(optimizer='adam',loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),metrics=metrics)
当我运行以下代码时,我得到 None
作为梯度 wrt 输入。
def compute_gradients(t,target_class_idx):
with tf.GradientTape() as tape:
tape.watch(t)
logits = model(t)
probs = tf.nn.softmax(logits,axis=-1)[:,target_class_idx]
grads = tape.gradient(probs,t)
return grads
sample_tensor = tf.random.uniform(shape=(1,50))
path_gradients = compute_gradients(
t=sample_tensor,target_class_idx=0)
print(path_gradients)
None
我做错了什么?
谢谢
解决方法
TensorFlow 中的 const htmlElement = document.getElementById(idUniqueInNgIfButDuplicatedAcrossFalseNgFif)\
htmlElement.addEventListener('touchstart',e => this.onTouchStart(e),true);
htmlElement.addEventListener('touchend',e => this.onTouchEnd(e),true);
htmlElement.addEventListener('mousedown',e => this.onMouseDown(e));
htmlElement.addEventListener('mouseup',e => this.onMouseUp(e));
层是不可微的。
来源:https://github.com/keras-team/keras/issues/12270
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。