如何解决G.1X 和 G.2X 的 AWS Glue 工作线程定价详细信息
已搜索 AWS Glue 文档,但找不到 AWS Glue 工作线程类型 G.1X 和 G.2X 的定价详细信息。谁能解释一下 Standard、G.1X 和 G.2X 之间是否没有成本差异?
我只能看到 Glue 定价部分是“您需要支付 0.44 美元/DPU 小时的费用,以 1 秒为增量,四舍五入到最接近的秒数。使用 Glue 2.0 版的 Glue Spark 作业最少需要 1 分钟计费时长。”。这与工人类型无关吗?
-
标准类型 - 16 GB 内存、4 个 vCPU 计算容量和 50 GB 附加的 EBS 存储(2 个执行器)
-
G.1X - 16 GB 内存,4 个 vCPU, 和 64 GB 的附加 EBS 存储(1 个执行器)
-
G.2X - G.1X (https://aws.amazon.com/blogs/big-data/best-practices-to-scale-apache-spark-jobs-and-partition-data-with-aws-glue/) 的两倍,这意味着
-
G.2X - 32 GB 内存、8 个 vCPU、128 GB EBS !!
感谢您对此的任何意见。
尤瓦
解决方法
正如你可以阅读here:
当您使用 G1.X / G2.X 时,您正在分配一定数量的工人。那些映射到 DPU。
对于 G.1X worker 类型,每个 worker 映射到 1 个 DPU
和
对于 G.2X worker 类型,每个 worker 映射到 2 个 DPU
这意味着 G.2X 的成本是 G1.X 的两倍。如果您使用标准,则直接分配特定数量的 DPU。如果您使用 Glue 2.0,我建议您使用 G1.X 或 G2.X,具体取决于您的用例。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。