微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

分为测试集和训练集,所有行对应训练集或测试集中的一个属性值组合

如何解决分为测试集和训练集,所有行对应训练集或测试集中的一个属性值组合

我的输入文件格式如下:

gold,ProgramName,RequirementID,MethodID,DataTypeName,DataTypeID,FieldMethodownerClass,VariableName,fieldMethodID
Trace,chess,1,boolean,_moveRight,3
Trace,_computerIsWhite,4
NoTrace,2,3
NoTrace,3,4,5,6,7,8,de.java_chess.javaChess.game.Game,50,_game,1
NoTrace,byte,67,KING,353
NoTrace,PAWN,348
NoTrace,348

我希望将我的数据分成训练集和测试集,但我希望将与 的 1 个组合相对应的所有行都放入训练集或测试集。例如,您注意到前 2 行都有 作为 元组的值。我想避免的情况如下:我不想在训练集中有第一行,在测试集中有第二行。我希望将它们都放在训练集中或测试集中。因此,对应于 一个组合的所有行都应该在训练集中或测试集中。例如,将 作为 值的前两行应该在训练集中,而值为 的第三和第四行应该在测试集中。

这是我正在使用的 Python 代码。正如您所注意到的,它随机分成了一个测试集和一个训练集,这是我不想要的,我希望按照上述规则进行分割:

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report,confusion_matrix,accuracy_score
import sys


def main():
  
    dataset = pd.read_csv( 'inputFields.txt',sep= ',',index_col=False) 

    #convert Inner,Root,Leaf into 0,2
   
    dataset['ProgramName'] = dataset['ProgramName'].astype('category').cat.codes
    dataset['DataTypeName'] = dataset['DataTypeName'].astype('category').cat.codes
    dataset['VariableName'] = dataset['VariableName'].astype('category').cat.codes
    dataset['gold'] = dataset['gold'].astype('category').cat.codes
    
    pd.set_option('display.max_columns',None)
    
    row_count,column_count = dataset.shape
     
        
    X = dataset.iloc[:,1:column_count].values
    y = dataset.iloc[:,0].values

    print(y)

    X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=1)    
    
         
    ################################################################################
       
        
        
    classifier = RandomForestClassifier(n_estimators=400,random_state=0)
    classifier.fit(X_train,y_train)
    y_pred = classifier.predict(X_test)
        
    
        
    print('confusion matrix\n',confusion_matrix(y_test,y_pred))
    print('classification report\n',classification_report(y_test,y_pred))
    print('accuracy score',accuracy_score(y_test,y_pred))     
if __name__=="__main__": 
    
        main()

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。