构建自定义 REST API，Bigtable 很快，但 for 循环很慢

如何解决构建自定义 REST API，Bigtable 很快，但 for 循环很慢

我正在 Python 中构建一个 REST API，使用 FASTAPI 从 Bigtable 读取数据，然后将其返回到绘制机器数据图表的移动应用。

我想构建一个 Rest API 的原因是因为我想做一些操作来只返回我需要的移动应用程序。

@app.post("/tbm_data_time",status_code=status.HTTP_200_OK)
async def read_data_time(request: definitions.TbmDataRequestTime):

    #Parse Datetimes
    timeStart = datetime.datetime.strptime(request.timeStart,"%Y-%m-%dT%H:%M:%S.%fZ")
    timeEnd = datetime.datetime.strptime(request.timeEnd,"%Y-%m-%dT%H:%M:%S.%fZ")

    timeStart = timeStart.strftime("%Y%m%d%H%M%S")
    timeEnd = timeEnd.strftime("%Y%m%d%H%M%S")

    row_set = RowSet()
    start_key = f"{request.tu}#{request.tbm}#raw#{timeStart}"
    end_key = f"{request.tu}#{request.tbm}#raw#{timeEnd}"

    row_set.add_row_range_from_keys(
        start_key=start_key.encode('utf-8'),end_key=end_key.encode('utf-8'))

    t = time.time()
    rows = table.read_rows(row_set=row_set,filter_=row_filters.CellsColumnLimitFilter(1))
    elapsed = time.time() - t
    print(elapsed)
    payload = {
        "tu": request.tu,"tbm": request.tbm,"requestTime": datetime.datetime.now(),"recordCount": 0,"data": {}
    }
    t = time.time()
    ############ THIS IS WHERE THINGS ARE REALLY SLOW #######################################
    for idx,row in enumerate(rows):
        #for every row
        for cf,cols in sorted(row.cells.items()):
            #look through the column fam
            for col,cells in sorted(cols.items()):
                #for every column
                for cell in cells:
                    #for every cell
                    column = col.decode('utf-8')
                    value = cell.value.decode('utf-8')

                    if idx ==0:
                        payload["data"][column] = []

                    payload["data"][column].append(value)

    elapsed = time.time() - t
    print(elapsed)
    return payload

我已经按照文档进行了操作，在上面的代码中，Bigtable read_rows 函数真的非常快，这太棒了，对于 300 行的数据，大约需要 0.003 毫秒。问题是 for 循环。我正在遵循文档中使用 for 循环的方式，我花了 6 秒钟来浏览数据。有没有更快的方法来加载数据？

基本上，我的目标是将我的所有列放入单独的列表中。例如：第 1 列：[]，第 2 列：[]，然后将其 jsonify 作为来自我的其余 api 的响应。

或者我应该看看 Node.js 库吗？

#编辑： 我可能在这里问了一个非常愚蠢的问题。请原谅我，因为我是新来的。只是与云 sql 相比，我对 bigtable 抱有很大希望，因为 Google 表示它的延迟非常低并且查询了大量数据。我已经测试在 Cloud SQL 中查询 50k 行结果，大约需要 30 秒，与 Bigtable 大致相同。 Cloud SQL 机器是 n1-standard1。我是不是不了解低延迟、快速的广告？我只是问自己如何证明 Bigtable 的价格标签是合理的。也许当我达到 100 GB 的数据并开始受到影响时，它在 Cloud Sql 上变得更加明显。