如何解决多层的多重激活函数神经网络
我的神经网络有一个二元分类问题。
使用隐藏层中的 ReLU 激活函数和输出层中的 sigmoid 函数,我已经得到了很好的结果。 现在我正在努力获得更好的结果。 我用 ReLU 激活函数添加了第二个隐藏层,结果变得更好。 我尝试对第二个隐藏层使用leaky ReLU 函数而不是ReLU 函数并获得了更好的结果,但我不确定这是否被允许。
所以我有这样的事情: 隐藏层 1:ReLU 激活函数 隐藏层 2:leaky ReLU 激活函数 隐藏层3:sigmoid激活函数
我在上面找不到很多资源,我发现的资源总是在所有隐藏层上使用相同的激活函数。
解决方法
如果您指的是 Leaky ReLU,我可以说,实际上,Parametric ReLU (PReLU) 是泛化传统整流单元以及 Leaky ReLU 的激活函数。是的,PReLU 改进了模型拟合,没有显着的额外计算成本,并且过拟合风险很小。
有关详细信息,您可以查看此链接 Delving Deep into Rectifiers
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。