使用2D空间信息进行异常值检测

如何解决使用2D空间信息进行异常值检测

我有一个带有地理坐标的空气质量传感器测量值列表，我想实施离群值检测。传感器列表相对较小（约50个）。

空气质量可以随距离逐渐变化，但是突然的局部峰值可能是异常值。如果一组紧密定位的传感器中的一个传感器显示较高的值，则可能是异常值。如果更远的传感器显示相同的较高值，则可能没问题。

当然，我可以忽略坐标并假设正态分布进行简单的异常值检测，但我希望做一些更复杂的事情。对此建模并实现离群值检测的一种好的统计方法是什么？

解决方法

上面的语句("If one sensor in the group of closely located sensors shows a higher value it could be an outlier. If the same higher value is shown by more distant sensors it might be OK.")表示彼此接近的传感器的值往往更相似。

Tobler的第一条地理定律-“所有事物都与其他事物相关，但是附近事物比远处事物更相关”

您可以量化对此问题的答案。重点不应放在离群值传感器的位置和值上。使用全局spatial autocorrelation来回答彼此接近的传感器趋于相似的程度。

首先，您需要为每个传感器定义neighbors。

,

我将计算一个成本函数，其中包括两个成本：

1：cost_neighbors：计算与传感器值的期望值偏差。期望值是通过对所有值求和并按它们的距离加权来计算的。

2：cost_previous_step：检查传感器值与上一个时间步相比变化了多少。价值的大变动导致巨额成本。

下面是一些伪代码，描述了如何计算成本：

expected_value = ((value_neighbor_0 / distance_neighbor_0)+(value_neighbor_1 / distance_neighbor_1)+ ... )/nb_neighbors

cost_neighbors = abs(expected_value-value)

cost_previous_timestep = value@t - value@t-1

total_cost = a*cost_neighbors + b*cost_previous_timestep

a和b是可以调整以对每种成本产生或多或少影响的参数。然后，使用总成本来确定传感器值是否为离群值，该值越大，则离奇值越可能。

要弄清楚性能和权重，可以绘制一些标记数据点的成本，知道这些数据点是否是异常值。

cost_neigbors

|           X
|          X   X
|         
|o    o
|o o   o
|___o_____________  cost_previous_step

X= outlier
o= non-outlier

您现在可以手动设置阈值，也可以创建带有标签和成本的小型数据集，并应用任何种类的分类器功能（例如SVM）。

如果使用python，找到邻居及其距离的简单方法是scipy.spatial.cKDtree