如何解决在 PyArrow 中,如何将表的行附加到内存映射文件?
正如您在下面的代码中看到的,我在向保存在内存映射文件中的表中添加新行时遇到了麻烦。 我只想用新行再次写入文件。
import pyarrow as pa
source = pa.memory_map(path,'r')
table = pa.ipc.RecordBatchFileReader(source).read_all()
schema = pa.ipc.RecordBatchFileReader(source).schema
new_table = create_arrow_table(schema.names) #new table from pydict with same schema and random new values
updated_table = pa.concat_tables([table,new_table],promote=True)
source.close()
with pa.MemoryMappedFile(path,'w') as sink:
with pa.RecordBatchFileWriter(sink,updated_table.schema) as writer:
writer.write_table(table)
我收到一个异常,指出内存映射文件没有关闭:
ValueError: I/O operation on closed file
。
有什么建议吗?
解决方法
您的直接问题是您使用的是 pa.MemoryMappedFile(path,'w')
而不是 pa.memory_map(path,'w')
。后者定义为...
_check_is_file(path)
cdef MemoryMappedFile mmap = MemoryMappedFile()
mmap._open(path,mode)
return mmap
...所以它被关闭的原因应该很清楚。
您将遇到的下一个问题(假设它不是复制/粘贴到 SO 中的错误)是您正在编写 table
而不是 updated_table
。轻松修复。
第三个问题更成问题。内存映射文件具有固定大小,不能像普通文件一样自然增长。如果您尝试将更新后的表格写入同一个文件,您将看到...
OSError: Write out of bounds (offset = ...,size = ...) in file of size ...
这个问题不是那么容易克服的。您可以将内存映射 (sink.resize(...)
) 的大小调整为“足够大”的大小,但最终得到的文件末尾有一堆 0,因此您需要确保在之后将其缩小你写的,我不确定这是否会给你比写普通文件更好的性能。
您可以写入一个字节对象,然后调整文件大小并将您的字节写入内存映射文件,但这会给您一些额外的簿记,我不知道调整文件大小对性能的影响。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。