不使用分区键查询DynamoDB表的全局二级索引

如何解决不使用分区键查询DynamoDB表的全局二级索引

我有一个分区键为 userID 且没有排序键的 DynamoDB 表。 该表在每个项目中还有一个 timestamp 属性。我想检索在指定范围内具有时间戳的所有项目（无论 userID，即跨越所有分区）。 在阅读文档并搜索 Stack Overflow (here) 后，我发现我需要为我的表创建一个 GSI。 因此，我使用以下键创建了一个 GSI：

• 分区键：userID
• 排序键：timestamp

我正在使用以下代码通过 Java SDK 查询索引：

String lastWeekDateString = getLastWeekDateString();
AmazonDynamoDB client = AmazonDynamoDBClientBuilder.standard().build();
DynamoDB dynamoDB = new DynamoDB(client);

Table table = dynamoDB.getTable("user table");
Index index = table.getIndex("userID-timestamp-index");

QuerySpec querySpec = new QuerySpec()
    .withKeyConditionExpression("timestamp > :v_timestampLowerBound")
    .withValueMap(new ValueMap()
            .withString(":v_timestampLowerBound",lastWeekDateString));

    ItemCollection<QueryOutcome> items = index.query(querySpec);
    Iterator<Item> iter = items.iterator();

while (iter.hasNext()) {
    Item item = iter.next();
    // extract item attributes here
}

我在执行此代码时遇到以下错误：

Query condition missed key schema element: userID

据我所知，我应该能够仅使用排序键查询 GSI，而不会对分区键提供任何条件。请帮助我了解我的实现有什么问题。谢谢。

编辑： 阅读线程 here 后，我们发现我们无法查询仅具有排序键范围的 GSI。 那么，通过对属性的范围查询来查询整个表的替代方法是什么？ 我在该线程中发现的一个建议是使用年份作为分区键。如果所需的范围跨越多年，这将需要多次查询。此外，这不会在所有分区中均匀分布数据，因为只有与当前年份对应的分区才会用于插入一整年。请提出任何替代方案。

解决方法

使用dynamodb Query操作时，必须至少指定Partition key。这就是为什么您会收到需要 userId 的错误。 （在AWS Query docs中）

条件必须对单个分区键值执行相等测试。

在没有分区键的情况下获取项目的唯一方法是执行扫描操作（但这不会按您的排序键排序！）

如果您想对所有项目进行排序，则必须创建一个具有分区键的 GSI，该分区键对于您需要的所有项目都相同（例如，为所有项目创建一个新属性，例如“类型”： “物品”）。然后您可以查询 GSI 并指定 #type=:item

QuerySpec querySpec = new QuerySpec()
    .withKeyConditionExpression(":type = #item AND timestamp > :v_timestampLowerBound")
    .withKeyMap(new KeyMap()
            .withString("#type","type"))
    .withValueMap(new ValueMap()
            .withString(":v_timestampLowerBound",lastWeekDateString)
            .withString(":item","item"));

,

对于任何使用 DDB 的自定义查询需求来说，始终好的解决方案是为 GSI 设计正确的主键方案。 在DDB的主键设计中，主要的原则是设计hash key是为了对整个item进行分区，而sort key应该是为了对分区内的item进行排序。

话虽如此，我建议您使用时间戳的年份作为哈希键，使用月-日期作为排序键。 在这种情况下，您最多需要进行 2 次查询。 你是对的，你应该尽可能地避免过滤或扫描。

例如，您可以像这样进行查询 如果开始日期的年份和结束日期的年份相同，则只需要一个查询：

.withKeyConditionExpression("#year = :year and #month-date > :start-month-date and #month-date < :end-month-date")

还有这样的：

.withKeyConditionExpression("#year = :start-year and #month-date > :start-month-date")

和

.withKeyConditionExpression("#year = :end-year and #month-date < :end-month-date")

最后，您应该合并两个查询的结果集。 这最多只消耗 2 个读取容量单位。

为了更好地比较排序键，您可能需要使用 UNIX 时间戳。

谢谢