图像回归 - 从图像估计传感器 数据集原因和目标进展和结果问题

如何解决图像回归 - 从图像估计传感器 数据集原因和目标进展和结果问题

我正在尝试使用图像来预测赛车游戏的传感器数据。作为一个新人，我有很多问题。感谢所有帮助/建议。

数据集

数据集看起来像：

• 图像：来自保险杠视图的 160x120 灰度 - 以下是一些图像的示例

  

• sensors：21 个元素的向量，都归一化在 [0,1] 之间，代表 3 个传感器。这些传感器是：
  • 汽车和轨道轴之间的角度（传感器[0]）
  • 19 个测距仪，返回从汽车到轨道限制的距离，跨越 -pi 和 pi（传感器 [1:20 ])
  • 距轨道轴的距离（传感器[20]）

这是传感器矢量的示例。

[
0.01011692 # angle
0.059058   0.299319   0.23943199 0.20102449 0.18029851
0.1706595  0.165723   0.161521   0.15858699 0.15570949 0.15288849
0.150124   0.146348   0.142166   0.1347065  0.121228   0.102669
0.08340649 0.04948675 # rangefinders
0.00183716 # distance from center
] 

我在数据集中生成了大约 50000 个条目。如果这还不够，增加数据集的大小是微不足道的，因为它的创建是一个完全自动化的过程。

原因和目标

最终目标是使用根据游戏帧预测的传感器实时驾驶汽车。这样就可以只使用图像来驱动汽车。

两种模型的估计质量都不够好，因为“司机”行为异常或不知道该怎么做。

进展和结果

我从一个普通的 CNN 开始：

    model = Sequential()

    model.add(Conv2D(8,(4,4),input_shape = (img_height,img_width,stack_depth),padding="same",activation = "relu"))
    model.add(BatchNormalization())
    model.add(Conv2D(8,strides = 2,activation = "relu"))
    model.add(Conv2D(8,activation = "relu"))
    model.add(Conv2D(16,(3,3),activation = "relu"))
    model.add(BatchNormalization())
    model.add(Conv2D(16,activation = "relu"))
    model.add(Conv2D(32,activation = "relu"))
    model.add(BatchNormalization())
    model.add(Conv2D(32,activation = "relu"))
    model.add(Activation("relu"))
    model.add(Flatten())
    model.add(Dense(192,activation="relu"))
    model.add(Dense(96,activation="relu"))
    model.add(Dense(48,activation="relu"))
    model.add(Dense(output_size,activation="linear"))

    adam = Adam(learning_rate=1e-5)
    model.compile(loss="mean_squared_error",optimizer=adam)

完成训练后模型有

• 在“简单”轨道上的损失 (MSE) 为 0.02，在较难的轨道上为 >0.1（更详细）
• R^2 的简单指数为 0.7，困难指数为

因为CNN的性能不够我也尝试了一个Residual network。该模型要大得多（400 万个参数）并且在详细轨迹上的结果略好：

• 简单的损失 (MSE) 约为 0.03，困难的损失 (MSE) 约为 0.05
• R^2 指数为 0.7（简单），~0.5（困难）

几乎没有任何区别，如果不是普通的 CNN 在简单的轨道上表现更好。

如果您想要两种型号的代码都是 here。

问题

• 首先，我的代码有没有错误？

• 更大的数据集能否提高预测质量？

• 更高分辨率的图像和/或 RGB 有帮助吗？不同的相机角度（例如相机设置得更高）也有帮助吗？

• 数据集是在不同的轨道和“嘈杂”驾驶（从左到右旋转，随机断裂等）生成的。这是一个好主意还是只会减慢训练速度？

• 在我看来，传感器向量是（松散的）结构化的，并且值在某种程度上彼此重要。这个属性可以使用吗？

• 对于这种图像回归，是否有其他推荐的架构或策略？

提前感谢您的回答。