如何解决对数损失和交叉熵损失的结果不同
逻辑回归的负对数似然由 [...] 给出,这也称为交叉熵误差函数。
— Page 246,Machine Learning: A Probabilistic Perspective,2012
所以我试了一下,发现有点不同:
.\gradlew.bat test
为什么?
解决方法
首先,sklearn.metrics.log_loss
将自然对数(math.log
或 numpy.log
)应用于概率,而不是以 2 为底的对数。
其次,您显然得到了 -0.0
,因为 y_true
中的对数概率乘以零。对于二元情况,对数损失是
-logP(y_true,y_pred) = -(y_true*log(y_pred) + (1-y_true)*log(1-y_pred))
第三,您忘记在代码中取对数损失的平均值。
from math import log
def bin_cross_entropy(p,q):
n = len(p)
return -sum(p[i]*log(q[i]) + (1-p[i])*log(1-q[i]) for i in range(n)) / n
bin_cross_entropy(y_true,y_pred) # 0.6931471805599453
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。