如何解决使用定制距离函数从Pandas Dataframe创建距离矩阵
我有一个熊猫数据框,其中有两列,分别是“ id”(唯一标识符)和“ date”,如下所示:
test_df.head()
id date
0 N1 2020-01-31
1 N2 2020-02-28
2 N3 2020-03-10
我创建了一个自定义Python函数,该函数给定了两个日期字符串,将计算这些日期之间的绝对天数(具有给定的日期格式字符串,例如%Y-%m-%d),如下所示:>
def days_distance(date_1,date_1_format,date_2,date_2_format):
"""Calculate the number of days between two given string dates
Args:
date_1 (str): First date
date_1_format (str): The format of the first date
date_2 (str): Second date
date_2_format (str): The format of the second date
Returns:
The absolute number of days between date1 and date2
"""
date1 = datetime.strptime(date_1,date_1_format)
date2 = datetime.strptime(date_2,date_2_format)
return abs((date2 - date1).days)
我想创建一个距离矩阵,对于所有ID对,该矩阵将计算这些ID之间的天数。使用上面的test_df
示例,最终时间距离矩阵应如下所示:
N1 N2 N3
N1 0 28 39
N2 28 0 11
N3 39 11 0
与SciPy提供的标准距离度量相反,我正在努力寻找一种使用定制距离函数(例如上面的days_distance()
函数)来计算距离矩阵的方法。
有什么建议吗?
解决方法
让我们尝试pdist
+ squareform
创建一个表示日期时间对象之间的成对差异的平方距离矩阵,最后根据该平方矩阵创建一个新的数据框:
from scipy.spatial.distance import pdist,squareform
i,d = test_df['id'].values,pd.to_datetime(test_df['date'])
df = pd.DataFrame(squareform(pdist(d[:,None])),dtype='timedelta64[ns]',index=i,columns=i)
或者,您也可以使用numpy
广播来计算距离矩阵:
i,pd.to_datetime(test_df['date']).values
df = pd.DataFrame(np.abs(d[:,None] - d),columns=i)
N1 N2 N3
N1 0 days 28 days 39 days
N2 28 days 0 days 11 days
N3 39 days 11 days 0 days
,
您可以将日期列转换为日期时间格式。然后从该列创建numpy数组。然后创建一个矩阵,该数组重复3次。然后减去其转置矩阵。然后将结果转换为数据框
import pandas as pd
import numpy as np
from datetime import datetime
test_df = pd.DataFrame({'ID': ['N1','N2','N3'],'date': ['2020-01-31','2020-02-28','2020-03-10']})
test_df['date_datetime'] = test_df.date.apply(lambda x : datetime.strptime(x,'%Y-%m-%d'))
date_array = np.array(test_df.date_datetime)
date_matrix = np.tile(date_array,(3,1))
date_diff_matrix = np.abs((date_matrix.T - date_matrix))
date_diff = pd.DataFrame(date_diff_matrix)
date_diff.columns = test_df.ID
date_diff.index = test_df.ID
>>> ID N1 N2 N3
ID
N1 0 days 28 days 39 days
N2 28 days 0 days 11 days
N3 39 days 11 days 0 days
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。