使用from_pandas从Oracle数据库到vaex的5,000万条记录

如何解决使用from_pandas从Oracle数据库到vaex的5,000万条记录

以下代码来自vaex文档：

pandas_df = pd.read_sql_query('SELECT * FROM MYTABLE',con=engine)
df = vaex.from_pandas(pandas_df,copy_index=False)

说明

我的数据比RAM多。但是，当我使用上述代码时，它会尝试提取熊猫数据框中的所有数据。因此，为了解决这个问题，我使用了chunksize属性，它提供了一个生成器。

要再次从生成器转换为熊猫数据帧，需要内存。下面是我尝试的代码。

import vaex
df = pd.read_sql_query('select * from "user"."table"',conn,chunksize=1000000)
chunk_list = []
for i in df:
    chunk_list.append(i)
    data = pd.concat(chunk_list)
    df2 = vaex.from_pandas(data)
    alldat=df2.concat(df2)

请帮助我解决这个问题。