如何解决使用 TensorFlow 2 在训练期间记录权重规范
我正在使用 tensorflow 训练神经网络,我想监控某些层的 L2 范数。 我在 tensorflow 1 中找到了如何做到这一点,例如 here,但我找不到在 tensorflow 2 中做到这一点的方法。我想知道我该怎么做。谢谢!
解决方法
Tensorflow 2 提供了 Tensorflow 1 的兼容版本。 请找到以下用于计算非零权重的代码
import tensorflow as tf
import numpy as np
#Replace tf.trainable_variables() with tf.compat.v1.trainable_variables
tvars = tf.compat.v1.trainable_variables()
nonzero_parameters = np.sum([np.count_nonzero(var) for var in tvars])
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。