为我的QLearning代理编写良好的奖励功能

如何解决为我的QLearning代理编写良好的奖励功能

我还是ML的新手，最近我学习了Q-Learning并对其进行了手动编码（不使用Keras或TensorFlow之类的库），而我面临的问题是知道如何编写良好的奖励函数对于我的经纪人，我首先编写了以下简单的奖励函数：

从X，Y移至X1，Y1时： 返回（距离（从X，Y到目标）-距离（从X1，Y1到目标））

这意味着只要它向目标移动，它就会获得积极的回报，并且在空的2D平原上可以正常工作。

但是当我添加障碍物时，该功能无济于事，特工沿着最短的路径永远将目标卡在障碍物中，我增加了留在原地的惩罚，它再次被困在墙上，但是这次来回往复，因为惩罚+奖励的总和为0，并且已经获得了积极的奖励，因此这是一条有利的道路。 然后，我增加了两次通过同一方块的惩罚，但是，我仍然觉得这太令人费解了，必须有一种更简单的方法来做到这一点

起始位置（绿色是代理，红色是目标）

陷入阻塞的最短直接路径

我了解到奖励后，我对奖励有很多理解/错了，从一开始就将奖励提高到了2k，而不是在[-1，1]范围内，并且没有明确区分何时使用消极奖励与积极奖励。

我的状态与动作的内存数组由n个行（其中n =行*列）和5个动作（上，右，下，左，留在原地）组成的n个状态组成。

因此，知道我的经纪人应该找到到目标的最短可用路径（未阻止），我的奖励功能应该是什么样？为什么呢？ 同样按照我从中学到的算法，它们并没有真正指定Epsilon，Gamma和LearningRate的值，因此我将它们分别设置为0.2、0.85和0.75。

如果您要通过代码发送奖励函数，则我的代码在python中。

PS：我在StackOverflow上和上下进行了搜索，发现所有都是参考文献和文​​章，所有这些都解释了奖励函数应该做什么，但没有详细说明如何做到这一点，或者将查询变成奖励功能。

这是我在Github上的代码文件（无GUI）：https://github.com/EjHam98/LearningMachineLearning/blob/master/QLearning.py

解决方法

在您的环境中，状态操作空间很大。仅考虑10个障碍，总状态将大于49x48x47c10，大于10e13，这里甚至没有采取任何行动，也没有考虑其他可能的障碍数量。

因此，最好将Deep Q-learning与功能强大的CNN功能近似器一起使用。

• 观察-代表迷宫（或图像）的2d网格

• 座席状态-当前观察值的堆栈以及之前的某些帧（2，3）。

• 奖励结构

  每个时间步长
  • -1
  • 获得目标状态的ve奖励
  • -遇到障碍时获得奖励

在简单的环境（例如OpenAI体育馆控制环境）中更好地使用Q学习。 Here's用于gym控制环境的q学习的示例实现。