微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

计算较少数据量的 ML 模型的成功/失败指标

如何解决计算较少数据量的 ML 模型的成功/失败指标

假设我有一个具有 2 个可能值的特定属性的数据 - A、B

我有一个用例,我需要在这些数据上运行我的 ML 模型,并在每天结束时找到我的模型的精度

针对 A 值和 B 值聚合的数据分别测量精度。

对于属性值为 A 的数据和属性值为 B 的数据,我的 ML 模型通常确实给出了 97-98% 的精度。

但有时,一天的属性B的数量较少,即使误报较少,但当天的精度仍然变差。

例如,如果在 100 个预测中,当天有 17 个预测为错误属性值为 B,则当天的准确率为 83%。

然而,当在 339K 预测中,328K 预测为真时,精度变为 96.75%。

所以我的问题是 -

  • 我应该如何对我们的模型进行基准测试?因此,一天 A 或 B 的数量较少并不能说明该模型一定表现不佳。

我们肯定想分别测量属性值A和属性B的模型精度。

是否有某种方法可以通过数字数字(例如,为模型精度给出的某种分数)来了解模型的性能,该数字将包含两者 - 大量的 A、B 以及少量的 A,乙?

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。