如何解决为什么要添加一个导致val_loss和val_mae较大的退出层?
最近,我在回归任务中使用了多个密集层。
对于每个密集层,我都使用带有lecun_normal的SELU激活。
但是,当我在一个隐藏层之后添加一个AlphaDropout层时,val_loss变得非常大,如下所示:
Train on 582050 samples,validate on 83150 samples
Epoch 1/1000
582050/582050 [==============================] - 3s 4us/sample - loss: 22.1010 - mae: 22.5942 - val_loss: 70.2438 - val_mae: 70.7436
Epoch 2/1000
582050/582050 [==============================] - 2s 3us/sample - loss: 12.6855 - mae: 13.1761 - val_loss: 67.6379 - val_mae: 68.1378
如果我不使用alphadropout,则val_loss和val_mae的值与train_loss和train_mae的值相似。
model = keras.Sequential([keras.layers.Dense(256,activation="selu",kernel_initializer="lecun_normal",input_shape=[input_size]),keras.layers.Dense(256,kernel_initializer="lecun_normal"),keras.layers.AlphaDropout(rate=0.2),keras.layers.Dense(200)])
model.compile(loss=keras.losses.Huber(),optimizer=keras.optimizers.Nadam(),metrics=["mae"])
为什么添加Alpha滤除层会导致val_loss和val_mae大????
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。