在Numpy结构化数组中查找值的更快方法

如何解决在Numpy结构化数组中查找值的更快方法

在学习使用Numpy和Python 3创建哈希图时，我想到了以下代码，该代码使用了Numpy结构化数组data。

但是，从键中选择一个值所需的时间非常慢，如timeit所示，它比较了Numpy结构化数组data的13.3秒和Python字典{{ 1}}。

d

是否有更快的方法来获取特定钥匙的物品？

val = data[data['keys'] == key]['values'][0]

---

数字查询方法1： 13.3秒

import numpy as np
import timeit

N = 1000*1000
keyArr = np.random.randint(0,1000*1000*1000*4,N)
valArr = np.random.rand(N)
key = keyArr[0]                                     # Select an existing key value

# Numpy structured array
data = np.empty(keyArr.shape[0],dtype=[('keys',keyArr.dtype),('values',valArr.dtype)])
data['keys'] = keyArr
data['values'] = valArr

val = data[data['keys'] == key]['values'][0]
print(key,'=>',val)                               # 558520981 => 0.17948995177905835
print( timeit.Timer("data[data['keys'] == key]['values'][0]",globals=globals()).timeit(10*1000),'secs' )   # 13.256318201000001 secs

# Python built-in dictionary
d = {}
for k,v in zip(keyArr,valArr):
    d[k] = v

print(key,d[key])                            # 558520981 => 0.17948995177905835
print( timeit.Timer("d[key]",'secs' )   # 0.0008061910000000116 secs

数字查询方法2： 13.4秒

val = data[data['keys'] == key]['values'][0]

---

val = data['values'][np.where(data['keys'] == key)][0] ：6.8秒

pandas.Series

解决方法

问题的主要根源在于，像numpy和pandas这样的查找操作需要检查列表中的每个元素，因为它们也打算执行多项选择和更复杂的查找操作。但是，python字典只能执行单次匹配查找，但这是对二叉树的最佳实现。

因此，如果您打算坚持使用键访问，那么我认为您找不到比字典更快的东西。否则，我会押注大熊猫以获得最快的访问时间。