Tensorflow提供了一个很好的LSTM包装器.
rnn_cell.BasicLSTM(num_units,forget_bias=1.0,input_size=None,state_is_tuple=False,activation=tanh)
我想使用正则化,比如L2正则化.但是,我没有直接访问LSTM单元格中使用的不同权重矩阵,所以我不能明确地做类似的事情
loss = something + beta * tf.reduce_sum(tf.nn.l2_loss(weights))
有没有办法访问矩阵或使用LSTM以某种方式使用正则化？
tf.trainable_variables为您提供了可用于添加L2正则化术语的Variable对象列表.请注意,这会为模型中的所有变量添加正则化.如果要将L2术语仅限制为权重的子集,可以使用
name_scope将变量命名为特定前缀,稍后使用它来过滤tf.trainable_variables返回的列表中的变量.
原文地址：https://www.jb51.cc/regex/356613.html
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
