从 DensePose 输出创建 UV 纹理贴图

如何解决从 DensePose 输出创建 UV 纹理贴图

我正在尝试以 SURREAL 数据集的格式生成单个 UV 纹理贴图。原始 DensePose 存储库中有一个笔记本，讨论如何使用来自 SMPL 的图像应用纹理传输：github.com/facebookresearch/DensePose/blob/master/notebooks/DensePose-RCNN-Texture-Transfer.ipynb

然而，在这种情况下，我试图直接使用我们从 DensePose 获得的输出：

在转储模式下，我在 data[0]['pred_densepose'][0].uv 中获得 uv 坐标，尺寸为：torch.Size([2,1098,529])

我在黑色背景上用 dp_u,dp_v 可视化覆盖了在图像上运行推理的输出。这是图片的链接：https://densepose.s3.amazonaws.com/test1uv.0001.png

这是我用来得到这个推断的命令：python3 apply_net.py show configs/densepose_rcnn_R_101_FPN_DL_WC2M_s1x.yaml model_final_de6e7a.pkl input.jpg dp_u,dp_v -v --output output.png 这是原始图片的链接：https://densepose.s3.amazonaws.com/02_1_front.jpg

使用这些组件，我尝试以与 SMPL 相同的格式生成 24 部分 uv 纹理贴图： https://densepose.s3.amazonaws.com/extracted_smpl_texture_apprearance.png https://densepose.s3.amazonaws.com/texture_from_SURREAL.png

如果有人可以分享如何解决这个问题，那将非常有帮助。如果需要其他信息，请告诉我。