如果 C 是行优先顺序，为什么 ARM 内在代码采用列优先顺序？ 您提议的循环顺序 i,k,j 是最糟糕的

如何解决如果 C 是行优先顺序，为什么 ARM 内在代码采用列优先顺序？ 您提议的循环顺序 i,k,j 是最糟糕的

我不确定在哪里问这个问题的最佳地点，但我目前正在使用 ARM 内在函数并遵循本指南：https://developer.arm.com/documentation/102467/0100/Matrix-multiplication-example

但是，那里编写的代码假设数组是按列优先顺序存储的。我一直认为 C 数组是按行优先存储的。他们为什么要这样假设？

编辑： 例如，如果不是这样：

void matrix_multiply_c(float32_t *A,float32_t *B,float32_t *C,uint32_t n,uint32_t m,uint32_t k) {
    for (int i_idx=0; i_idx < n; i_idx++) {
        for (int j_idx=0; j_idx < m; j_idx++) {
            for (int k_idx=0; k_idx < k; k_idx++) {
                C[n*j_idx + i_idx] += A[n*k_idx + i_idx]*B[k*j_idx + k_idx];
            }
        }
    }
}

他们这样做了：

void matrix_multiply_c(float32_t *A,uint32_t k) {
    for (int i_idx=0; i_idx < n; i_idx++) {
        for (int k_idx=0; k_idx < k; k_idx++) {
            for (int j_idx=0; j_idx < m; j_idx++) {
                C[n*j_idx + i_idx] += A[n*k_idx + i_idx]*B[k*j_idx + k_idx];
            }
        }
    }
}

由于以 C[0]、C[1]、C[2]、C[3] 的顺序而不是 C[0]、C[2] 的顺序访问 C 的空间局部性，代码会运行得更快]、C[1]、C[3]（其中 C[0]、C[1]、C[2]、C[3] 在内存中是连续的）。

解决方法

您没有使用像 C[i][j] 这样的 C 2D 数组，所以这不是 C 如何存储任何东西的问题，而是如何在此代码中手动使用 {{ 1}}，可以选择在内循环还是外循环中循环。

但是两个矩阵都未转置的 matmul 的难点在于，您需要为两个输入矩阵做出相反的选择： 天真的 matmul 必须跨越其中一个矩阵的远距离元素输入矩阵，所以它本质上是搞砸的。这就是为什么仔细的缓存阻塞/循环平铺对于矩阵乘法很重要的一个主要部分。 （O(n^3) 处理 O(n^2) 数据 - 您希望每次将其带入 L1d 缓存和/或寄存器时都充分利用它。）

循环交换可以加快速度以利用最内层循环中的空间局部性，如果你做得对的话。

参见 What Every Programmer Should Know About Memory? 中的缓存阻塞 matmul 示例，它遍历内部几个循环中所有 3 个输入中的连续内存，选择在 3 个矩阵中的任何一个中都没有缩放的索引作为内部一个。看起来像这样：

n * idx_1 + idx_2

请注意 for (j_idx) for (k_idx) for (i_idx) C[n*j_idx + i_idx] += A[n*k_idx + i_idx]*B[k*j_idx + k_idx]; 在循环内循环中是不变的，并且您正在对连续内存（这很容易 SIMD 向量化）执行简单的 B[k * j_idx + k_idx] 操作，尽管您仍在这样做每个 FMA 2 次加载 + 1 次存储，因此这不会最大化您的 FP 吞吐量。

与缓存访问模式分离，这也避免了将长依赖链转换为单个累加器（C 元素）。但这对于优化的实现来说并不是真正的问题：您当然可以使用多个累加器。由于舍入误差，FP 数学不是严格关联的，但多个累加器是 closer to pairwise summation，并且与连续添加行 x 列点积的每个元素相比，FP 舍入误差可能更小。 按照标准的简单 C 循环的顺序进行添加会得到不同结果，但通常更接近准确答案。

---

您提议的循环顺序 i,k,j 是最糟糕的。

您正在内部循环中跨越 3 个矩阵中的 2 个的远距离元素，包括对 C[] 的不连续访问，这与您在上一段中所说的相反。

以 dst[0..n] += const * src[0..n] 作为最内层循环，您可以在第一次外层迭代中访问 j、C[0]、C[n] 等。 C[2n] 也是如此，所以这真的很糟糕。

交换 B[] 和 i 循环 可以让您在中间循环中连续访问 j，而不是跨步访问，并且仍然是一列的行另一个，在最里面的循环中。所以严格来说这将是一个改进：是的，你是对的，这个天真的例子比它需要的更糟糕。

但关键问题是对内部循环中某些内容的跨步访问：这是性能灾难；这就是为什么仔细的缓存阻塞/循环平铺对于矩阵乘法很重要的一个主要部分。唯一从未与比例因子一起使用的索引是 C[]。

,

C 本质上不是行优先或列优先。

在编写 a[i][j] 时，由您决定 i 是行索引还是列索引。

虽然先写行索引是一种常见的约定（使数组成为行优先），但没有什么能阻止你做相反的事情。

另外，请记住 A × B = C 等价于 Bt × At = Ct（t 表示转置矩阵），并将行主矩阵视为列主矩阵（反之亦然） ) 将其转置，这意味着如果您想保持矩阵行优先，您可以颠倒操作数的顺序。