如何解决如何计算摘要中不可训练的参数来自tensorflow.keras.layers.experimental中的preprocessing.Normalization?
我一直在使用preprocessing.normalization
中的tensorflow.keras.layers.experimental
来规范化数据。在这里,当我使用一个输入([None,1])时,在摘要中得到3个不可训练的参数。当我使用九个输入([None,9])时,我得到19个不可训练的参数。这些示例,摘要,代码和完整数据可以在here中找到。如何计算“ 9”和“ 19”?
我已经看到Batchnormalization
的{{3}},但是上述归一化的情况可能不一样。
我想更详细地了解它们的含义以及它们的计算方式,它与平均值,标准偏差和偏差有某种关系吗?它背后的理论是什么?有人可以指向论文吗?
谢谢。
解决方法
我不知道Keras实现的细节,但是规范化应该类似于(来自https://keras.io/api/layers/normalization_layers/layer_normalization/):
x_i_normalized = (x_i - mean_i) / sqrt(var_i + epsilon)
因此,这些不可训练的参数可能是各个输入的均值和标准偏差,因此,输入数量是2 * n
的两倍,然后是一个附加参数以避免被零除,即2 * n + 1
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。