微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

深度学习模型输入的最大大小是多少

如何解决深度学习模型输入的最大大小是多少

我有使用完全连接的深度神经网络FC-DNN进行训练和测试的数据;我应该训练的输入数据的大小几乎为3000,第一个隐藏层应最大为4096,第三层为4096,最后输出层应为3000。

我的问题是深度神经网络的大小是否合理且可以接受?深度神经网络的最大合理大小是多少?

解决方法

没有最大合理大小(对于每层神经元或层数均没有)。在特定的点之后(这实际上取决于您要解决的问题),在应用多个Dense层时,收益递减。实际上,它可能导致过度安装,应避免。同时,在没有剩余连接的情况下,堆叠多个Dense层(使网络超深度)也可能导致梯度问题消失。

您应该手动尝试添加几层,并且仅当您发现网络性能不佳(问题中的准确性较低/其他指标不足)时,才应该添加更多层。

此外,对于最后一层,我认为您的问题不需要3000个神经元。如果是回归,则具有线性激活的一个神经元就足够了。仅当您具有3000个不同的类时才需要3000个神经元(这里我们仅讨论回归和分类)。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。