如何解决DataFusionApache Arrow:如何延迟读取结果批次?
我有一个数据融合查询。我不想等待所有批次都进行处理,而是想在第一个批次准备好后立即运行一些代码。
这里是等待,然后处理代码:
let dataframe = ExecutionContext::new().read_parquet(filename)?;
let batchs = dataframe.collect().await?;
for batch in batchs {
// Do something with the record batch
println!("{:?}",batch.schema());
}
我想要的东西不是返回的BatchRecord数组的承诺,而是更多的BatchRecord的数组。 DataFusion是否提供一种只检索第一批而不用等待镶木地板文件的完整处理的方法?
我目前在启动时有5分钟以上的加载时间,这不切实际。直接使用Arrow&Parquet,可以让我立即访问第一批(以api / features进行交易)。
中可以找到一个最小的示例解决方法
自2.0.0版本以来,master分支中发生了一些最新更改,以更好地支持异步和流传输,因此值得检查最新代码,但是DataFrame collect方法确实将所有结果加载到内存中,然后返回,因此可能不是最好的方法。
在Arrow邮件列表中询问此问题也是一个好主意。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。