Bigtable CellsColumnLimitFilter和ValueRangeFilter无法正常工作

如何解决Bigtable CellsColumnLimitFilter和ValueRangeFilter无法正常工作

我是Bigtable的新手，并且已经根据该文档测试了过滤功能。 https://cloud.google.com/bigtable/docs/using-filters

我已经在testcsvbigtablefilters.py下的此仓库中尝试了此操作，但有一些问题。作为记录，我正在本地计算机上的Bigtable Emulator上对此进行测试 https://github.com/limjix/GoogleCloudBigDataTest

我有2个过滤器的问题：

1. CellsColumnLimitFilter（第100-110行，取消注释即可尝试） 此过滤器似乎无效。我有一个3列的表格，但是当我放置CellsColumnLimitFilter（1）或CellsColumnLimitFilter（2）时，我仍然得到所有3列吗？

     rows = table.read_rows(filter_=row_filters.CellsColumnLimitFilter(10))
     for row in rows:
         print_row(row)

1. ValueRangeFilter（第172-183行） 该过滤器不起作用，因为例如，我的第一列的值在10000到14000之间。 当我将起始值设置为10,000到14,000时，什么也没有发生。 当我输入0到3时，开始显示10k到14k的值。这没有任何意义，而且过滤器似乎根本不起作用

    rows = table.read_rows(
        filter_=row_filters.ValueRangeFilter(start_value=b'0',end_value=b'3'))

    for row in rows:
        print_row(row)

我还要问，如何查询已被覆盖的单元格？我知道bigtable可以在一段时间内保存细胞的突变。如何查询和过滤该单元格的特定时间？

任何帮助都会受到赞赏，其他地方没有太多的教程或文档，希望社区能够为您提供帮助。

谢谢！

解决方法

嘿limjix谢谢您的提问！刚刚介绍了Bigtable过滤文档，因此像这样的问题可以帮助我们改进它。

1. CellsColumnLimitFilter

CellsColumnLimitFilter限制了输出行中每一列中的单元格数量。在文档中它以cells per column filter的形式列出，因此我可以看到此函数名称会有点令人困惑。

如果您只有一行带有几列，并且这些值只有一个单元格或一个版本，则CellsColumnLimitFilter将返回所有这些值。如果您只想接收列的数据之一，则可以使用CellsRowLimitFilter来过滤每行的单元格。或者，您可以使用任何列限定符过滤器来指定特定的列。

1. ValueRangeFilter

我做了一些挖掘工作，我相信我知道您在这里遇到的问题，但我不是100％。如有需要，我们很乐意与您进行进一步的排查。

您似乎直接从CSV设置单元格值：

bigtablerow.set_cell(column_family_id,"column1",#str(float(csvrow[20])+i),csvrow[20],timestamp=datetime.datetime.utcnow())

这对于字符串工作正常，但是如果您将单元格值设置为数字，则python客户端会将其视为可递增值，并将其编码为64位big-endian有符号整数，并且无法与b'10000'。

例如，此代码不会返回任何行：

client = bigtable.Client(project=project_id,admin=True)
instance = client.instance(instance_id)
table = instance.table(table_id)

rows = []
for i in range(10):
    row_key = 'test_num{}'.format(i).encode()
    row = table.direct_row(row_key)
    row.set_cell("cf".encode(),"col".encode(),random.randint(10000,14000)
                 )
    rows.append(row)
table.mutate_rows(rows)


rows = table.read_rows(
    filter_=row_filters.ValueRangeFilter(start_value=b'10000',end_value=b'14000'))
for row in rows:
    print(row)

但是当我将整数转换为字符串时，我得到了所有行

    row.set_cell("cf".encode(),str(random.randint(10000,14000))
                 )
    rows.append(row)

我建议使用CBT工具检查数据的外观。例如，当我执行cbt read时，第一行如下所示：

test_num0
  cf:col                                   @ 2020/09/20-22:24:43.835000
    "\x00\x00\x00\x00\x00\x003\xd1"
----------------------------------------
test_num1
  cf:col                                   @ 2020/09/20-22:24:43.835000
    "\x00\x00\x00\x00\x00\x001t"

字符串看起来像这样（由于我实际上使用了相同的行键，所以它们有两个值，但是您应该明白了）：

test_num0
  cf:col                                   @ 2020/09/20-22:36:12.075000
    "11510"
  cf:col                                   @ 2020/09/20-22:24:43.835000
    "\x00\x00\x00\x00\x00\x003\xd1"
----------------------------------------
test_num1
  cf:col                                   @ 2020/09/20-22:36:12.075000
    "12048"
  cf:col                                   @ 2020/09/20-22:24:43.835000
    "\x00\x00\x00\x00\x00\x001t"

1. 查询已被覆盖的单元格

这类似于您在第一个示例中尝试执行的操作。对于已被覆盖的单元格，您正在寻找围绕单元格时间戳（TimestampRangeFilter）或每列单元格数（再次{CellsColumnLimitFilter）的过滤器。