微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

如何计算摘要中不可训练的参数来自tensorflow.keras.layers.experimental中的preprocessing.Normalization?

如何解决如何计算摘要中不可训练的参数来自tensorflow.keras.layers.experimental中的preprocessing.Normalization?

我一直在使用preprocessing.normalization中的tensorflow.keras.layers.experimental来规范化数据。在这里,当我使用一个输入([None,1])时,在摘要中得到3个不可训练的参数。当我使用九个输入([None,9])时,我得到19个不可训练的参数。这些示例,摘要代码和完整数据可以在here中找到。如何计算“ 9”和“ 19”?

我已经看到Batchnormalization的{​​{3}},但是上述归一化的情况可能不一样。 我想更详细地了解它们的含义以及它们的计算方式,它与平均值,标准偏差和偏差有某种关系吗?它背后的理论是什么?有人可以指向论文吗?

谢谢。

解决方法

我不知道Keras实现的细节,但是规范化应该类似于(来自https://keras.io/api/layers/normalization_layers/layer_normalization/):

x_i_normalized = (x_i - mean_i) / sqrt(var_i + epsilon)

因此,这些不可训练的参数可能是各个输入的均值和标准偏差,因此,输入数量是2 * n的两倍,然后是一个附加参数以避免被零除,即2 * n + 1

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。