CIKernel的异常行为

如何解决CIKernel的异常行为

我举了这个例子来说明问题。它通过硬编码坐标从纹理中获取1个像素，并用作着色器中每个像素的结果。我希望所有图像都具有相同的颜色。当图像较小时，它可以很好地工作，但是当我处理较大图像时，它会产生奇怪的结果。例如，此处图像的尺寸为7680x8580，您可以看到4个正方形：

这是我的代码

kernel vec4 colorKernel(sampler source)
{
    vec4 key = sample(source,samplerTransform(source,vec2(100.,200.)));
    return key;
}

这是我初始化内核的方式：

override var outputimage: CIImage? {
        return colorFillKernel.apply(
                extent: CGRect(origin: CGPoint.zero,size: inputimage!.extent.size),roiCallback:
                {
                    (index,rect) in
                    return rect
                },arguments: [
                    inputimage])
    }

此外，此代码可以正确显示图像，没有变化和正方形：

vec2 dc = destCoord();
return sample(source,dc));

在公开文档中，它说：“ Core Image自动将大图像分割成较小的图块以进行渲染，因此您的回调可能会被多次调用。”但我找不到解决这种情况的方法。我有千变万化的效果，从这个瓷砖上我也需要能够从另一个瓷砖上获得像素...

解决方法

我认为出现此问题是由于错误地定义了感兴趣的区域并结合了平铺。

在roiCallback中，Core Image询问您内核需要查看输入图像的哪个区域（如果有多个输入，则在index处）为了产生输出图像的给定区域（rect）。之所以关闭，是因为切片：
如果处理后的图像太大，则Core Image会将其分解为多个图块，分别渲染这些图块，然后再将它们缝合在一起。对于每个磁贴，Core Image会问您内核需要读取输入图像的哪一部分来生成磁贴。

因此对于您的输入图像，roiCallback在渲染过程中可能会被调用四次（甚至更多次），例如使用以下矩形：

CGRect(x: 0,y: 0,width: 4096,height: 4096) // top left
CGRect(x: 4096,width: 3584,height: 4096) // top right
CGRect(x: 0,y: 4096,height: 4484) // bottom left
CGRect(x: 4096,height: 4484) // bottom right

这是Core Image的优化机制。它只想读取和处理产生输出给定区域所需的像素。因此，最好使ROI尽可能适合您的用例。

现在，ROI取决于内核。基本上有四种情况：

您的内核在输入像素和输出像素之间具有1：1映射。因此，为了产生输出颜色值，需要从输入图像中读取相同位置的像素。在这种情况下，您只需在rect中返回输入roiCallback。（或更妙的是，您使用为此用例制作的CIColorKernel。）
您的内核执行某种卷积运算，不仅需要输入像素与输出处于相同坐标，还需要其周围的某个区域（例如，用于模糊操作）。那么您的roiCallback可能看起来像这样：
```
let inset = self.radius // like radius of CIGaussianBlur
let roiCallback: CIKernelROICallback = { _,rect in 
    return rect.insetBy(dx: -inset,dy: -inset) 
}
```
您的内核始终需要读取输入的特定区域，而不管呈现输出的哪一部分。然后，您可以在回调中返回该特定区域：
```
let roiCallback: CIKernelROICallback = { CGRect(x: 100,y: 200,width: 1,height: 1) }
```
内核始终需要访问整个输入映像。例如，当您使用某种查找表派生颜色时就是这种情况。在这种情况下，您可以只返回输入范围，而忽略参数：
```
let roiCallback: CIKernelROICallback = { inputImage.extent }
```

对于您的示例，方案3应该是正确的选择。对于万花筒效果，我假设您需要在目标坐标周围有特定区域或源像素才能生成输出像素。因此，最好如方案2中那样计算该区域的大小并使用roiCallback。

P.S .：现在已经不建议使用Core Image Kernel语言（CIKernel(source: "<code>")）。您应该考虑改用Metal Shading Language编写内核。查看今年的WWDC talk了解更多信息。 ?