给定2D图像和目标点，确定3D世界中的对应点

如何解决给定2D图像和目标点，确定3D世界中的对应点

在我们的潜在应用程序中，用户点击一个点在一个二维图像被摄像头抓取，然后目标是让机器人进入相应的现实世界点（位于平面传送带上）。

一个3D结构光传感器可以和2D摄像头一起使用，所以我最初的想法是在2个立体图像上找到与点击一个对应的点，这样原则上通过通过三角测量，我们可以在点云中检索相应的 3D 位置。

所以我的系统的输入是：

• 像素坐标中的二维图像点
• 场景的 3D 点云

和输出：

• 机器人需要去的点的 3D 坐标

对于这个问题，尤其是相关文献，您有什么建议吗？我认为这与 2D-3D 匹配问题有关，但在这种情况下，它与估计给定刚体模型的姿态更相关，在我们的情况下不可用。

我愿意接受任何需要的澄清。