为什么我在 WiSe 数据集中使用 DeepLab v3+ 得到完全零预测，即使损失不断减少？

如何解决为什么我在 WiSe 数据集中使用 DeepLab v3+ 得到完全零预测，即使损失不断减少？

我正在尝试在 WiSe 数据集 (https://github.com/tensorflow/models/research/deeplab/) 上训练 DeepLab v3+ 模型 (https://cvhci.anthropomatik.kit.edu/~mhaurile/wise/)。我修改了提供的脚本中的参数并开始运行 train.py 脚本，但即使损失不断减少（从第 10 步的大约 2.7 到第 100 步的大约 1.9），我在导出的检查点所做的预测。即使在每张火车图像上，我也得到了全零预测。
数据集信息（我已经根据我的需要处理了数据集）：
火车图片：1222
Val 图像：100
图片总数：1322
总班级：9（含背景）
类：['background','TitleSlide','PresTitle','ImageCaption','Image','Code','Enumeration','Tables','Paragraph'] \

我在 datasets/data_generator.py 中添加了以下代码：

_WISE_SEG_informatION = DatasetDescriptor(
    splits_to_sizes={
        'train': 1222,'trainval': 1322,'val': 100,},num_classes=10,# 8 foreground + 1 background + 1 ignore
    ignore_label=255,)

_DATASETS_informatION = {
    'cityscapes': _CITYSCAPES_informatION,'pascal_voc_seg': _PASCAL_VOC_SEG_informatION,'ade20k': _ADE20K_informatION,'wise_seg': _WISE_SEG_informatION,}

请注意，在我的数据集中，实际上没有图像具有任何标签为 255 的像素。每个标签都在 [0,8] 范围内。我也尝试将 num_classes 设置为 9，但没有成功。
我的目录结构如下：

deeplab
├── datasets
│   ├── wise_seg
│   │   ├── exp
│   │   │   └── train_on_train_set
│   │   │       ├── eval
│   │   │       ├── export
│   │   │       ├── train
│   │   │       └── vis
│   │   ├── init_models
│   │   │   └── xception
|   |   |       ├── model.ckpt.data-00000-of-00001
|   |   |       └── model.ckpt.index
│   │   ├── tfrecord
│   │   └── WiSe
│   │       ├── Annotations
│   │       ├── imagesets
│   │       │   └── Segmentation
|   |       |       ├── train.txt
|   |       |       ├── trainval.txt
|   |       |       └── val.txt
│   │       ├── JPEGImages
│   │       ├── SegmentationClass
│   │       └── SegmentationClassRaw
│   └── __pycache__
|------ Other stuff

我用来运行训练的命令：

python ./train.py \
  --logtostderr \
  --train_split="train" \
  --model_variant="xception_65" \
  --atrous_rates=6 \
  --atrous_rates=12 \
  --atrous_rates=18 \
  --output_stride=16 \
  --decoder_output_stride=4 \
  --train_crop_size="513,513" \
  --train_batch_size=16 \
  --training_number_of_steps=30000 \
  --fine_tune_batch_norm=true \
  --tf_initial_checkpoint="./datasets/wise_seg/init_models/xception/model.ckpt" \
  --train_logdir="./datasets/wise_seg/train" \
  --dataset="wise_seg" \
  --initialize_last_layer=false \
  --last_layers_contain_logits_only=false \
  --dataset_dir="./datasets/wise_seg/tfrecord"

请注意，我已经设置了 initialize_last_layer = False 和 last_layers_contain_logits_only = False。我使用 ImageNet 预训练的 Xception-65 模型作为主干网络，我从给定的链接 here（具体来说，我使用了 xception_65_imagenet）下载了该模型。
我还在 utils/train_utils.py 中进行了以下更改：

exclude_list = ['global_step','logits']
  if not initialize_last_layer:
    exclude_list.extend(last_layers)

当我执行训练的时候，它能够成功地到达训练部分，现在已经训练到了大约110步。我使用以下命令导出了一个中间检查点：

python ./export_model.py \
  --logtostderr \
  --checkpoint_path="./datasets/wise_seg/exp/train_on_train_set/train/model.ckpt-41" \
  --export_path="./datasets/wise_seg/exp/train_on_train_set/export/frozen_inference_graph-41.pb" \
  --model_variant="xception_65" \
  --atrous_rates=6 \
  --atrous_rates=12 \
  --atrous_rates=18 \
  --output_stride=16 \
  --decoder_output_stride=4 \
  --num_classes=${3} \
  --crop_size=513 \
  --crop_size=513 \
  --inference_scales=1.0

检查点成功导出。然后我尝试使用给定 here 的示例笔记本运行推理。具体来说，当我运行以下部分时，0 会打印在输出中：

graph_path = './datasets/wise_seg/exp/train_on_train_set/export/frozen_inference_graph-41.pb'
MODEL = DeepLabModel(graph_path)
resized_im,seg_map = MODEL.run(Image.open('./datasets/wise_seg/WiSe/JPEGImages/130110-3MQQHISL3D-540_frame11610.jpg'))
print(sum(sum(seg_map)))

对于任何给定的图像都会发生同样的情况。为什么会这样？任何帮助将不胜感激。

解决方法

您应该尝试使用 110 步以上（至少 2000 步以上）进行训练。你的损失应该低于 1.9。还请确保标记的掩码显示 0、1、2、3、4、... 8 的像素值。此外，设置 num_classes = 9 是正确的。