视觉引导的机械臂如何接近目标物体以在目标位置捡起并放下它？

如何解决视觉引导的机械臂如何接近目标物体以在目标位置捡起并放下它？

我目前有一个工作项目，我的公司正在使用 3D 打印机、几个伺服电机和一个树莓派来生产机械臂。该机械臂旨在进行视觉引导。我的任务是为机器人研究和编码软件，以便能够拾取特定物体并将其放置在特定位置。我需要一些帮助，了解如何编程机器人以使用视觉引导拾取物体。

我做了一个设置，其中自上而下的图像很可能如下图所示。目标是在明确标记的操作区域内捡起一个骰子（在赌场或垄断游戏中可以找到的那些），并将其放在一张标有“X”的纸上。

这是我迄今为止所完成的：

1. 我能够使用 OpenCV 和机器学习来识别模具和标有“X”的纸张，并提取模具所在图像中的坐标（现在我的相机不在操作区域的正上方)
2. 我能够确定骰子的方向（即顺时针 30 度、逆时针 42 度等） - 这很重要，因为机械臂使用类似卡钳的剪刀来拾取骰子，而我不会希望它在角落里不牢固地握住骰子
3. 我还能够编写一个程序来移动机械臂（例如伺服 1 顺时针旋转 30 度，伺服 2 逆时针旋转 40 度等）

但是，我不知道如何编写机械臂来拾取骰子。照片中的骰子和 X 仅用于说明目的，它们的位置可以更改为操作区域内的任何位置。

真正令人沮丧的是我想不出任何策略。希望有人可以就一些原则提出建议并推荐一些策略 - 我不是在要求代码，因为我有信心编写自己的软件。我也不认为编程语言在这一点上很重要，但如果有帮助，我将在这个项目中使用 Python - 是否已经有任何库用于此类任务？我觉得我已经搜索了整个网络，但还没有找到任何有用的教程。

另外，如果有帮助的话 - 我来自网络软件开发人员背景，通常使用 HTML、CSS 和 Javascript 进行编码。在我开始使用 Web 技术进行编码之前，Python 是我设法掌握的第一种语言。我在高中时有一些 C 方面的经验，但已经有 10 多年没有用 C 编写代码了。

感谢您的帮助。