python中的无限while循环，其中熊猫计算标准偏差

如何解决python中的无限while循环，其中熊猫计算标准偏差

我们正在尝试删除离群值，但出现了无限循环

对于一个学校项目，我们（我和我的朋友）认为创建一个基于数据科学的工具是一个好主意。为此，我们开始清理数据库（我不会在此处导入它，因为它太大（xlsx file，csv file））。现在，我们尝试使用“ duration_minutes”列的“标准偏差* 3 +均值”规则删除异常值。

这是我们用来计算标准差和均值的代码：

def calculateSD(database,column):
    column = database[[column]]
    SD = column.std(axis=None,skipna=None,level=None,ddof=1,numeric_only=None)
    return SD

def calculateMean(database,column):
    column = database[[column]]
    mean = column.mean()
    return mean

我们认为应执行以下操作：

#Now we have to remove the outliers using the code from the SD.py and SDfunction.py files
minutes = trainsData['duration_minutes'].tolist() #takes the column duration_minutes and puts it in a list
SD = int(calculateSD(trainsData,'duration_minutes')) #calculates the SD of the column
mean = int(calculateMean(trainsData,'duration_minutes'))
SDhigh = mean+3*SD

上面的代码计算起始值。然后，我们启动了while循环以删除异常值。删除异常值后，我们重新计算标准差，均值和SDhigh。这是while循环：

while np.any(i >= SDhigh for i in minutes): #used to be >=,it doesnt matter for the outcome
    trainsData = trainsData[trainsData['duration_minutes'] < SDhigh] #used to be >=,this caused an infinite loop so I changed it to <=. Then to <
    minutes = trainsData['duration_minutes'].tolist()
    SD = int(calculateSD(trainsData,'duration_minutes')) #calculates the SD of the column
    mean = int(calculateMean(trainsData,'duration_minutes'))
    SDhigh = mean+3*SD
    print(SDhigh) #to see how the values changed and to confirm it is an infinite loop

输出如下：

它继续打印296，经过数小时的努力解决它，我们得出的结论是，我们不如我们期望的那么聪明。

TL; DR：我们正在尝试删除所有高于标准偏差* 3 +平均值的值，直到没有剩余值为止（我们每次都重新计算一次，以检查是否还有异常值）。但是，我们遇到了无限循环。

解决方法

您使事情变得比原来更加困难。计算标准偏差以去除异常值，然后重新计算等过于复杂（统计上不合理）。使用百分位数而不是标准差可以使您更好

getall()