我们是否需要通过对象检测模型的所有检测或基于置信阈值的过滤检测来计算 mAP？

如何解决我们是否需要通过对象检测模型的所有检测或基于置信阈值的过滤检测来计算 mAP？

我正在评估多目标检测模型。我从预先训练的模型中获取检测列表，然后我必须将检测提供给另一个将计算 mAP 的库。我的问题是是否需要先过滤掉检测列表，然后将其提供给库进行 mAP 计算？或者有必要发送所有检测而不过滤它，以便mAP计算准确。

为了清楚地解释它，提供下面的例子。

format of list elements - (class,box,score)
detections = [(c1,b1,0.90),(c1,b2,0.85),0.45)] //total 3 elements
filtered_detections = [(c1,0.85)] // score > confidence_threshold,lets say 0.5

mAP1 = calculate_mAP(ground_truth,detections)
mAP2 = calculate_mAP(ground_truth,filtered_detections)

mAP1 和 mAP2 会有什么不同？让我们在这里考虑 mAP 的 PASCAL VOC 实现。

解决方法

您提供了两个元素数量不同的列表。例如，如果“calculate_mAP”使用所有元素计算平均值，则 mAP1 ≠ mAP2。

,

在回答你的问题是否先过滤掉物体之前，让我告诉你在PASCAL VOC Challenge的情况下是如何完成mAP计算的。

如您所知，mAP 使用基于真阳性 (TP)、假阳性 (FP) 和假阴性 ( FN).

在Pascal VOC Challenge的Object Detection的mAP计算设置中，TP、FP、FN定义如下：

TP：检测的预测边界框 (BB)，其 (IoU) 与地面实况 (GT) 的 (IoU) 高于 0.5。

FP：与 GT 的 IoU 低于 0.5 的预测边界框

FN：那些没有预测边界框的对象。

现在，对象检测模型将为给定类别的每个预测 BB 分配一个置信度分数。

假设您有一个具有 3 个具有不同置信度分数的边界框预测的对象。 mAP计算方法对置信度分数递减的边界框进行排序，根据重叠标准，第一个对象被认为是真阳性，其余两个被认为是假阳性。

参考链接更好理解 The PASCAL Visual Object Classes (VOC) Challenge

针对您的问题，正如您所看到的，边界框是根据计算 TP 和 FP 的置信度分数进行排序的，PASCAL VOC Challenge mAP 指标不会过滤掉任何检测。它考虑了模型生成的所有边界框。

查看以下 github 链接，了解如何计算 Pascal VOC 的 mAP 指标 Pascal VOC Object Detection metrics by Rafael Padilla

根据您的问题，PASCAL VOC Challenge 使用了 mAP1 评估器，因为在挑战中，预计模型会预先过滤掉检测。

一般来说，我们使用 mAP2 来评估对象检测模型。在针对通用用例评估您的模型之前，必须先对模型进行评分阈值处理或过滤掉对象。

我希望这能澄清您的问题。