在同一数据框中迭代比较列值

如何解决在同一数据框中迭代比较列值

我的最终目标是去除重叠的基因。为了做到这一点，我确定了三个条件，但我不会详细介绍它们。如果您需要它们提供替代方法，我可以提及它们。

基本上，我想比较两列的值 (int64)。但是，我想这样做，将单行与所有剩余的行进行比较，如果满足条件，则应按顺序对下一行和其他行执行相同的步骤。

我需要检查数据框中的每一行是否满足给定条件。在此过程中，我需要使用两列（“开始”和“结束”）的值。您可以在下面的伪代码中看到条件之一。

如果满足以下条件，我想删除该行 (DF2.loc[row_loop]) 或创建一个新列并分配一个标签，以便我了解是否存在重叠。然后，我可以删除这些行。

条件：

(rowA ["Start"] >= rowB ["Start"]) and (rowA ["Start"] = rowB ["Start "]) 和 (rowA ["End"] >= rowB ["End"])

这就是我的数据框的样子：

DF2.head()

	Chromosome_Name	Sequence_Source	Sequence_Feature	开始	结束	Strand	Gene_ID
0	1	ensembl_havana	基因	14363	34806	-	"ENSG00000227232"
1	1	哈瓦那	基因	89295	138566	-	"ENSG00000238009"
2	1	哈瓦那	基因	141474	178862	-	"ENSG00000241860"
3	1	哈瓦那	基因	227615	272253	-	"ENSG00000228463"
4	1	ensembl_havana	基因	312720	453948	+	"ENSG00000237094"

这就是我目前所拥有的：

for ref_row in range(0,len(DF2) - 1):
   for row_loop in range(ref_row + 1,len(DF2)):
     if (DF2.loc[ref_row,["Start"]] >= DF2.loc[row_loop,["Start"]]) & (DF2.loc[ref_row,["Start"]] <= DF2.loc[row_loop,["End"]]) & (DF2.loc[ref_row,["End"]] >=  DF2.loc[row_loop,["End"]] >= DF2.loc[row_loop,["End"]]):
        DF2.drop(row_loop)

运行上面的代码后，我得到一个 ValueError，上面写着“只能比较标记相同的系列对象。”

我还用以下内容替换了 if 条件：

DF2["Overlap"] = np.where((DF2.loc[ref_row,["End"]]),np.nan,DF2["Gene_Name"])

但仍然得到相同的 ValueError。

谁能为我提供解决方案或实现我的目标的另一种方法？

提前致谢。

顺便说一句，我很抱歉我的英语。我很难通过写作来解释我的目标，希望你明白。

解决方法

基于您的演示数据和代码：

构建测试数据框（这应该包含在以后的问题中）

DF2 = {
'Chromosome_Name': [1,1,1],'Sequence_Source': ['ensembl_havana','havana','ensembl_havana'],'Sequence_Feature': ['gene','gene','gene'],'Start': [14363,89295,141474,227615,312720],'End': [34806,138566,178862,272253,453948],'Strand': ['-','-','+'],'Gene_ID': ['ENSG00000227232','ENSG00000238009','ENSG00000241860','ENSG00000228463','ENSG00000237094']
}

指定重叠的行

DF2["Overlap"] = False # create column to track overlap
for ref_row in range(0,len(DF2)-1):
    for row_loop in range(ref_row+1,len(DF2)):
        # update overlap to true,does not allow revert to False
        if DF2.loc[ref_row]["Overlap"] != False:
            DF2[ref_row]["Overlap"] = np.where(
                (DF2.loc[ref_row]["Start"] >= DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["Start"] <= DF2.loc[row_loop]["End"]) & \
                (DF2.loc[ref_row]["End"] >=  DF2.loc[row_loop]["Start"]) & \
                (DF2.loc[ref_row]["End"] >= DF2.loc[row_l]["End"])
            )

为了简化，我从条件中删除了 np.nan 和 DF2["Gene_Name"]。使用当前条件，没有发现重叠。您可能希望将条件分解为两部分：

1. A 在 B 里面吗？
2. B 在 A 里面吗？

您遇到的错误是由于 .loc 使用不当造成的。

DF2.loc[2,["Start"]]
Out: 
Start    141474
Name: 2,dtype: object

DF2.loc[2]["Start"]
Out: 141474