如何解决AWS Glue 仅从 Dynamo DB 读取选定的记录
以下代码正在读取完整的 dynamo DB 表。有什么办法,我们可以读取选定的行(给定一组有限的分区列值)
import sys
from pyspark.context import SparkContext
from awsglue.context import glueContext
from awsglue.job import Job
from awsglue.utils import getResolvedOptions
args = getResolvedOptions(sys.argv,["JOB_NAME"])
glue_context= glueContext(SparkContext.getorCreate())
job = Job(glue_context)
job.init(args["JOB_NAME"],args)
dyf = glue_context.create_dynamic_frame.from_options(
connection_type="dynamodb",connection_options={
"dynamodb.input.tableName": "test_source","dynamodb.throughput.read.percent": "1.0","dynamodb.splits": "100"
}
)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。