在Python中高效读取二进制文件

如何解决在Python中高效读取二进制文件

我是Python的新手。我有一个脚本，一次可以通过一个字节读取一个二进制文件，因此我希望缩短执行时间。我假设从I / O角度来看这效率很低：

With InputFile:    
    InByte = InputFile.read(1)
    while InByte != b'':
        # Do stuff
        InByte = InputFile.read(1)

我正在考虑读取更大的数据块（例如read（1000000000）），然后进行遍历将更有效。使用我的C头时，这将是一个大堆区域和一个char指针，并且当缓冲区用尽时，请重置指针并将另一个块加载到缓冲区中。通过字符串进行迭代是一种选择，但是在某些情况下，我想处理多个字节，然后将指针向前移动该数量，并且我认为使用字符串迭代器是不可能的。

是否有有效的方法可以在Python中进行这种处理？或者，因为速度很重要，所以仅使用C会更好吗？就上下文而言，我正在尝试确定文件的编码-与Linux“文件”命令类似，但收集了更详细的指标。

编辑： 因此实现了缓冲读取（简化了代码）：

With InputFile:    
    InString = InputFile.read(BufferSize)
    
    while ChunksToProcess:
        for InByte in InString:
            # Do stuff
         
        InString = InputFile.read(BufferSize)

我用一个1字节的缓冲区运行了一个大文件，处理速度为305,836 B / s。使用10,000字节的缓冲区运行时，我得到346,950 B / s。任何大于10,000的缓冲区都将具有相同的吞吐量。 10,000似乎也是最大的改进。

我对此感到惊讶，因为我认为处理将受I / O约束，但似乎受处理器约束。我认为我现在的选择是看我是否可以对“处理任务”处理进行多线程处理（这将很困难，因为这可能会拆分一组相关的字节）或诉诸于C之类的编译语言。