微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

为什么要添加一个导致val_loss和val_mae较大的退出层?

如何解决为什么要添加一个导致val_loss和val_mae较大的退出层?

最近,我在回归任务中使用了多个密集层。

对于每个密集层,我都使用带有lecun_normal的SELU激活。

但是,当我在一个隐藏层之后添加一个AlphaDropout层时,val_loss变得非常大,如下所示:

Train on 582050 samples,validate on 83150 samples

Epoch 1/1000

582050/582050 [==============================] - 3s 4us/sample - loss: 22.1010 - mae: 22.5942 - val_loss: 70.2438 - val_mae: 70.7436

Epoch 2/1000

582050/582050 [==============================] - 2s 3us/sample - loss: 12.6855 - mae: 13.1761 - val_loss: 67.6379 - val_mae: 68.1378

如果我不使用alphadropout,则val_loss和val_mae的值与train_loss和train_mae的值相似。

model = keras.Sequential([keras.layers.Dense(256,activation="selu",kernel_initializer="lecun_normal",input_shape=[input_size]),keras.layers.Dense(256,kernel_initializer="lecun_normal"),keras.layers.AlphaDropout(rate=0.2),keras.layers.Dense(200)])

model.compile(loss=keras.losses.Huber(),optimizer=keras.optimizers.Nadam(),metrics=["mae"])

为什么添加Alpha滤除层会导致val_loss和val_mae大????

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。