使用HAIL解析.bgen文件，而无需在单个节点上加载数据

如何解决使用HAIL解析.bgen文件，而无需在单个节点上加载数据

我正在尝试使用HAIL解析以.bgen格式传送到Spark DF的基因组数据。该文件的大小为150 GB，无法放入群集中的单个节点。

我想知道是否有流命令/方式将数据解析为所需的目标格式，而不需要我将数据预先加载到内存中。

我真的很感激任何投入/想法！非常感谢！

解决方法

您是否可以使用独立的BGEN阅读器来获取所需的内容，然后将其转换为所需的格式？

    import numpy as np
    from bgen_reader import open_bgen

    bgen = open_bgen("M:/deldir/genbgen/good/merged_487400x1100000.bgen")
     # read all samples and variants 1M to 1M+31
    val = bgen.read(np.s_[:,1000000:1000031])
    print(val.shape)

=>（487400，31，3）

'bed-reader'库提供了受NumPy启发的API，可以非常快速，轻松地将BGEN文件的片段读取到NumPy数组中。第一次读取时，它将创建一个元数据文件。之后，它立即启动，每秒读取数百万个概率。

• 安装：https://pypi.org/project/bgen-reader/
• 文档：https://bgen-reader.readthedocs.io/en/latest/quickstart2.html

很高兴为您提供有关用法或问题的帮助。

• 卡尔