具有优势类别的语义分割

如何解决具有优势类别的语义分割

我正在训练一个由3个类组成的语义分割模型（以背景计数）。 背景是主要类别，问题在于模型将每个像素预测为背景。 我目前正在使用交叉熵损失函数。

针对这种情况有什么解决方案？

解决方法

这是典型的图像分割严重不平衡；下面有两种解决该问题的方法。

1. 使用Jaccard(IoU)亏损或dice loss；例如，您将针对联合上的交集进行优化，而不是针对准确性进行优化，并且事实证明，在出现不平衡问题时，它们比cross_entropy更好。
2. 您可以尝试使用类别权重（Keras/TF中的样本权重）来为非背景的类别2和3分配更大的重要性。
3. Focal Loss在MLP或其他深度学习任务中表现出了改进，其中数据集非常不平衡。焦点损失可以与（1）和（3）的损失相结合；它有可能改善您的结果。

您应该期望通过单独使用（1）来获得最佳的性能改进。