像我一样计算 Kullback-Leibler 散度是否正确

如何解决像我一样计算 Kullback-Leibler 散度是否正确

我是 ML 学生，我尝试使用卷积层制作变分自动编码器（只是实验）。

在编码器之后，我有 μ (z_mean) 和 σ (z_log_var) 向量，shape = (batch_size,14,1) .现在我尝试计算获得损失的 Kullback–Leibler 散度。

损失 = ( kl_loss + bc_loss ) / 2。

bc_loss - 是 binary_crossentropy，它是 shape=(batch_size,)

kl_loss - 是 Kullback–Leibler 散度，其形状预计也是 (batch_size,)。

我希望 kl_loss 计算正确。

def vae_loss(x,decoded):  
                                      
  x = K.reshape(x,shape=(batch_size,28*28))               # mnist img       
  decoded = K.reshape(decoded,28*28))   # decoded img        
  bc_loss = binary_crossentropy(x,decoded)

  z1 = K.reshape(z_mean,14*14))
  z2 = K.reshape(z_log_var,14*14))
  kl_loss = -0.5 * K.sum(1 + z2 - K.square(z1) - K.exp(z2))

  return (bc_loss + kl_loss) / 2