如何解决LeakyReLU 层如何在不设置单元数的情况下工作?
在构建 Sequential 模型时,我注意到添加 relu
层和 LeakyReLU
层之间存在差异。
test = Sequential()
test.add(Dense(1024,activation="relu"))
test.add(LeakyReLU(0.2))
- 为什么我们不能添加带有 activation = "
LeakyReLU
" 的层? (LeakyReLU 不是 keras 可以使用的字符串) - 添加
relu
层时,我们设置单位数(在我的示例中为 1024) 为什么我们不能对LeakyReLU
做同样的事情?
我确信 relu
和 LeakyReLU
之间的区别在于方法行为,但似乎不止于此。
解决方法
-
我们可以通过使用别名
activation='relu'
来指定密集层本身的激活函数,这将使用默认的 keras 参数进行 relu。对于 LeakyRelu 激活函数,keras 中没有这样的别名可用。我们必须使用tf.keras.layers.LeakyRelu
或tf.nn.leaky_relu
。 -
我们无法在 Relu 层中设置单元数,它只是采用前一个输出张量并对其应用 relu 激活函数。您已为 Dense 层而不是 relu 层指定了单位数。当我们指定
Dense(1024,activation="relu")
时,我们将输入与权重相乘,添加偏差并在输出上应用 relu 函数(所有这些都在一行中提到)。从第 1 步中提到的方法来看,这个过程分 2 个阶段完成,首先是权重相乘、偏置相加,然后是应用 LeakyRelu 激活函数(在 2 行中提到)。
import tensorflow as tf
test = Sequential()
test.add(Dense(1024,input_dim=784,activation="relu",name="First"))
test.add(Dense(512,activation=tf.keras.layers.LeakyReLU(alpha=0.01),name="middle"))
test.add(Dense(1,activation='sigmoid',name="Last"))
test.compile(loss='binary_crossentropy',optimizer="adam")
print(test.summary())
输出:
Model: "sequential"
_________________________________________________________________
Layer (type) Output Shape Param #
=================================================================
First (Dense) (None,1024) 803840
_________________________________________________________________
middle (Dense) (None,512) 524800
_________________________________________________________________
Last (Dense) (None,1) 513
=================================================================
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。