CUDA JIT 编译器是否执行设备链接时优化？

如何解决CUDA JIT 编译器是否执行设备链接时优化？

在 CUDA 11.2 中引入设备链接时间优化 (DLTO) 之前，确保向前兼容性相对容易，而无需过多担心性能差异。您通常只会创建一个包含 PTX 的 fatbinary，用于您通常针对的特定架构的最低可能架构和 SASS。对于任何未来的 GPU 架构，JIT 编译器随后会将 PTX 组装成针对该特定 GPU 架构优化的 SASS。

然而，现在有了 DLTO，我不太清楚如何确保在这些未来架构上向前兼容并保持性能。

假设我使用带有以下选项的 nvcc 编译/链接应用程序：

编译

-gencode=arch=compute_52,code=[compute_52,lto_52]
-gencode=arch=compute_61,code=lto_61

链接

-gencode=arch=compute_52,code=[sm_52,sm_61] -dlto

这将创建一个包含 cc_52 的 PTX、sm_52 和 sm_61 的 LTO 中介以及 sm_52 和 sm_61 的链接时间优化的 SASS 的 fatbinary （或者至少在使用 cuobjdump -all 转储生成的 fatbin 部分时似乎是这种情况）。

假设以上是正确的，当应用程序运行在较新的 GPU 架构（例如 sm_70）上时会发生什么？ JIT 编译器是否只是在不使用链接时优化的情况下组装 cc_52 PTX（导致不太理想的代码）？或者它是否使用链接时优化以某种方式链接 LTO 中介？有没有办法确定/指导 JIT 编译器在做什么？

解决方法

根据 CUDA forums 上的 NVIDIA 员工的说法，答案是“还没有”：

好问题。我们正在努力支持 JIT LTO，但在 11.2 中不受支持。因此，在您在 JIT 时间给出的示例中，它将 JIT 每个单独的 PTX 到 cubin，然后执行 cubin 链接。这与我们一直为 JIT 链接所做的一样。但是我们应该在未来的版本中更多地支持 JIT LTO。