如何解决Catalyst 优化器和 Project Tungsten 的作用是什么 TungstenCatalyst OptimizerWholeStage Code Generator
我不清楚 Catalyst 优化器和 Project Tungsten 的作用。
我的理解是 Catalyst 优化器将从逻辑计划中生成优化的物理计划。优化后的物理计划将被代码生成器用于发出 Rdd。
代码生成器是 Project Tungsten 或 Catalyst Optimizer 的一部分吗？代码生成器是否也称为“全阶段代码生成器”？
解决方法
从 Databricks 或其他在线资源查看 Glossar 应该可以澄清您的疑虑：
Tungsten
“Tungsten 是伞形项目的代号，用于更改 Apache Spark 的执行引擎，重点是大幅提高 Spark 应用程序的内存和 CPU 效率，将性能推向更接近现代硬件的极限。”
Catalyst Optimizer
Catalyst 优化器获取您的代码并将其转换为执行计划，最终为 JVM 生成紧凑的代码。它经历了下图所示的四个转变阶段：
请注意，“代码生成”阶段是 Catalyst Optimizer 中的第四个阶段。更多详情请见下一节。
WholeStage Code Generator
“Whole-Stage CodeGen 也称为 Whole-Stage Java 代码生成，它是 Spakr SQL 中的一个物理查询优化阶段，它将多个物理操作结合在一起以形成单个 Java 函数。”
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
