如何解决如何将 Python 字典转换为 Numpy 数组?
因此,来自 Python sklearn 库的逻辑回归具有 .fit()
函数,该函数以 x_train
(features) 和 y_train
(labels) 作为参数来训练分类器。
似乎x_train.shape = (number_of_samples,number_of_features)
对于 x_train,我应该使用提取的 xvector.scp 文件,我正在阅读该文件:
b = kaldiio.load_scp('xvector.scp')
我可以像这样打印内容:
for file_id in b:
xvector = b[file_id]
print(xvector)
现在b变量就像一个字典,你可以得到对应id的x向量值。我想使用 sklearn Logistic Regression 对 x 向量进行分类,为了使用 .fit() 方法,我应该传递一个数组作为参数。
我的问题是如何制作一个只包含 xvector 变量的数组?
PS:file_ids 大约为 100 万个,每个 xvector 的长度为 512,这对于数组来说太大了
解决方法
您似乎正在尝试将字典存储到一个 numpy 数组中。如果字典很小,可以直接将值存储为:
import numpy as np
x = np.array(list(b.values()))
但是,如果字典很大,这将遇到 OOM 问题。在这种情况下,您需要按照此处的说明使用 np.memmap
:https://ipython-books.github.io/48-processing-large-numpy-arrays-with-memory-mapping/
本质上,您必须一次向数组添加一行,并在内存不足时刷新它。数组直接存储在磁盘上,避免了OOM问题。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。