使用多项式变换进行图像变形

如何解决使用多项式变换进行图像变形

大纲

我试图通过基于与图像关联的一些“质心”数据（每次的峰值）生成多项式来扭曲图像（时间序列中的光谱峰值，但这并不重要） step) 并增加多项式。这些原始多项式和增广多项式分别构成了我的“源”点和“目标”点，我试图使用 skimage.transform.warp() 来扭曲图像。

这种变形的目标是产生两个变形的图像（即重复该过程两次）。如果两个扭曲的图像之一水平翻转（同样，这里不那么重要），这些图像将彼此正相关，或者负相关。

以下是用于比较的示例输出：

（注意，多项式增强是通过在每个多项式波峰/波谷处添加/减去噪声来执行的，与每个点的幅度（像素）成正比，然后通过这些增强点生成相同阶的新多项式，附加固定点以防止增广多项式反转）。

---

代码片段

我在代码中通过创建 GeometricTransform 并将其作为 inverse_map 应用到 warp() 来实现这一点，如下所示：

from skimage import transform

# Create the transformation object using the source and destination (N,2) arrays in reverse order
# (as there is no explicit way to do an inverse polynomial transformation).
t = transform.estimate_transform('polynomial',src=destination,dst=source,order=4)  # order = num_poly_degrees - 1

# Warp the original image using the transformation object
warped_image = transform.warp(image,t,order=0,mode='constant',cval=float('nan'))

---

问题

我对产生的扭曲有两个主要问题：

1. 由于图像扭曲而留下了空白。例如，我知道这可以通过将 transform.warp() 中的模式从 'constant' 更改为 'reflect' 来解决。但是，这会重复现有数据，这与我的下一个问题有关...
2. 假设我已正确实施扭曲，它似乎已将时间步长 60 处看到的“之字形”特征提高到 ~50（红色圆圈）。我的扭曲目标是水平扭曲图像，以便每个特征保持在其自己的时间步长内（可能给予或采取非常小的数量），但它们的“像素”位置（x 轴）得到增强。这也是我不确定在 'reflect' 中使用 transform.warp() 或其他模式的原因，因为这会人为地添加更多数据，这会在我的管道中导致问题，我比较扭曲的图像对以查看如何它们是相关的（与我在大纲中的第二段有关）。

---

我的尝试

我曾尝试使用 RANSAC，如本问题中所用，该问题也使用多项式变换：Robustly estimate Polynomial geometric transformation with scikit-image and RANSAC 以改善翘曲。我曾希望这种方法只会留下较小的空白，然后我会对在 transform.warp() 内切换到另一种模式感到满意，但是，这并不能解决我的任何问题，因为性能大致相同。

我还研究了使用分段仿射变换和 Delaunay 三角剖分（使用 cv2）作为保留正确图像尺寸（没有重复数据）和最小化 y 分量翘曲的方法。结果确实解决了上述两个问题，但是翘曲效果几乎察觉不到，我不确定是否应该通过添加更多三角形并尝试更多分离的源点和目标点来继续沿着这条路走下去（尽管这种思路可能需要另一个发帖）。

---

总结

我想要一种使用多项式变换水平扭曲图像的方法（也欢迎任何其他关于变换方法的建议！），它会尽力在原始时间步长内保留图像的特征。

感谢您抽出宝贵时间。

---

编辑

Here 是指向共享 google 驱动器目录的链接，其中包含 .py 文件和运行此过程示例所需的数据。