培训代理探索未知环境无法正常工作

如何解决培训代理探索未知环境无法正常工作

在阅读有关RL“深度强化学习动手实践”的书时，Maxim Lapan尝试创建自己的代理和环境。问题是我的经纪人似乎训练不正确。 我想创建一个可以自动（以最有效的方式）探索室内建筑物的代理。为此，我创建了一个类似于Gym（且兼容）的环境，以下是这些特征：

• 尺寸：100像素x 100像素
• 在每次重置时使用二进制空间分区随机生成 算法（从此处开始： https://arcade.academy/examples/procedural_caves_bsp.html）
• 所有都是灰度的
• 墙壁像素对应的值为0
• 代理（3x3像素正方形）的值为192
• 空白像素的值为255
• 探索的像素值为64
• 对于每个动作（上，下，左，右），座席将移动1个像素

我将奖励限制在-1和1之间，例如：

• 如果代理探索新像素：+1.0
• 如果代理未探索新像素：-0.1
• 如果特工撞墙：-1.0

获胜条件是，如果探员探索了至少98％的像素，并且获得了+1的奖励。否则，如果代理在8000帧内没有探索新的像素，它将失去作用。

编辑：我认为我做错了一件事情，就是在剧集中给予特工奖励。所以我在做奖励塑造时却不知道它到底是什么。据我了解，这可能很棘手，而且很难正确地做到。 我将尝试仅在情节结束时给予奖励（在情节中为0），如果特工撞墙，则基本上结束奖励，总奖励将是命中的“特殊点数”。我将尝试对此进行各种更改，以查看是否可以让代理学习一些东西。

我使用射线投射来模拟代理人的视野。它以黑屏开始，墙壁会自动以X像素的半径显示在代理周围（如果光线未被墙壁遮挡）。

我尝试使用具有不同增强功能的DQN，这些代码来自本书作者https://github.com/PacktPublishing/Deep-Reinforcement-Learning-Hands-On-Second-Edition/tree/master/Chapter08

神经网络的模型如下：

(0): Conv2d(1,32,kernel_size=(8,8),stride=(4,4))
(1): ReLU()
(2): Conv2d(32,64,kernel_size=(4,4),stride=(2,2))
(3): ReLU()
(4): Conv2d(64,kernel_size=(3,3),stride=(1,1))
(5): ReLU()

(0): Linear(in_features=5184,out_features=512,bias=True)
(1): ReLU()
(2): Linear(in_features=512,out_features=4,bias=True)

输入到神经网络：

• 环境的1帧：从[0，255]标准化的[1，1，100，100] 到[0，1]

（我没有使用帧堆叠，因为除了每个状态的代理外，没有移动的对象）

超参数（对于具有重放缓冲区和目标网络的基本DQN）：

• lr：1e-3
• 重播大小：800000（我可以用公羊做的最大大小）
• 重播开始大小：50000
• 同步目标网络：10000
• Epsilon从1.0开始，在一百万帧后结束于0.1
• 伽玛：0.99
• 批次大小：32

我尝试了两件事来迫使特工探索：

• 保持先前指定的环境，并希望 奖赏以及座席从彩色编码中获得的反馈 “探索像素”就足够了。
• 删除探索像素的颜色和奖励并添加特殊内容 像素（1像素x 1像素）的灰度值128。代理每次点击 像素将获得+1的奖励（例如苹果或吃豆人中的点数， 蛇等），击中这些特殊像素就会消失。试图迫使代理商寻求和探索找到 这些特殊点。如下所示：

问题在于代理似乎没有学会探索环境。通过epsilon添加的随机性（或使用Noizy Layers产生的噪声）可获得更好的分数。但是在那之后，特工似乎越来越少探索，最后大多陷于困境。与特殊点相同，它似乎并没有尝试得到它们。我尝试了不同的超参数/奖励，尝试了基本的DQN，添加了增强功能（N步，噪声层，Double DQN，Dueling等）。我运行的代码从几个小时到10个小时不等（在2080超级计算机上）。

所以我想知道我的想法是否可能有问题，如何寻求代理商的探索，也许奖励是错误的（我尝试过改变这些），也许我缺少一些东西让代理商进行探索地图。另外，我并没有真正接触模型的网络，可能需要添加更多的图层？也许我上面提供的信息有问题。另外，我知道更好的方法还有A2C，A3C，PPO等。但是我的环境与DQN可以解决的ATARI游戏并没有什么不同。

如果您有任何想法...

谢谢！