JSON列表的数据框行,用于使用scikit训练ML

如何解决JSON列表的数据框行,用于使用scikit训练ML

我正在尝试将Sktime进行多变量分类,以组织为实验的一组JSON文件

输入内容如下:

[
  { v: 431,t: 2,d1: 986000,d2: 434000,X: 0 },{ v: 77,t: 0,d1: 47000,d2: 613000,{ v: 58,t: 1,d1: 197000,d2: 47000,d1: 260000,d2: 213000,X: 0 }
]

用于分类标签设置为形状为(len(files),1)的DataFrame。以下是我的六个文件的实现。 X的最终形状为(9528,5),应为六行,每行包含文件的JSON:

import json
import pandas as pd
import numpy as np
from pandas import json_normalize
from sklearn.impute import SimpleImputer
from sklearn.pipeline import Pipeline
from sktime.classification.compose import ColumnEnsembleClassifier
from sktime.classification.compose import TimeSeriesForestClassifier
from sktime.classification.dictionary_based import BOSSEnsemble
# from sktime.classification.shapelet_based import MrSEQLClassifier
from sktime.datasets import load_basic_motions
from sktime.transformers.series_as_features.compose import ColumnConcatenator
from sklearn.model_selection import train_test_split


controls = [
    '_clean_control01.json','_clean_control02.json','_clean_control03.json',]

exp = [
    '_clean_exp01.json','_clean_exp02.json','_clean_exp03.json',]

testsets = {
    'control': controls,'exp': exp
}

map_experiments = {
    'control': 0,'exp': 1
}

normalized_data = {
    'control': [],'exp': []
}

experiments = pd.DataFrame()
labels = {'exp': []}

for experiment in testsets:
    files = testsets[experiment]
    arr = normalized_data[experiment]
    for file in files:
        tmp = pd.read_json(file)
        experiments = experiments.append(tmp,ignore_index=True)
        label = map_experiments[experiment]
        labels['exp'].append(label)

labels = pd.DataFrame(labels)

X,y = experiments,labels
X_train,X_test,y_train,y_test = train_test_split(
    X,y,shuffle=False,stratify=None)
print(X_train.shape,y_train.shape,X_test.shape,y_test.shape)
print(X_train.head())
np.unique(y_train)

clf = ColumnEnsembleClassifier(estimators=[
    ("TSF0",TimeSeriesForestClassifier(n_estimators=100),[0]),("BOSSEnsemble3",BOSSEnsemble(max_ensemble_size=5),[3]),])
clf.fit(X_train,y_train)
print(clf.score(X_test,y_test))

我在查找信息时遇到了麻烦,如何构建数据框,其中每一行代表一个编码或未编码的JSON或CSV列表,或者其他表示时间序列的对象(没有时间戳记)。我看到一些示例,其中JSON被编码为数字键,而其他的则具有字符串。到目前为止,我找不到任何能帮助我使用一系列文件上的这些列表构建数据框的信息。

解决方法

原来,我正在寻找在DataFrame中嵌套ndarray的方法,如下所示:

    experiments = pd.DataFrame(['exp'])
    for file in files:
        tmp = pd.read_json(file).to_numpy()
        experiments = experiments.append({'exp': tmp},ignore_index=True)

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Selenium Web驱动程序和Java。元素在(x,y)点处不可单击。其他元素将获得点击?
Python-如何使用点“。” 访问字典成员?
Java 字符串是不可变的。到底是什么意思?
Java中的“ final”关键字如何工作?(我仍然可以修改对象。)
“loop:”在Java代码中。这是什么,为什么要编译?
java.lang.ClassNotFoundException:sun.jdbc.odbc.JdbcOdbcDriver发生异常。为什么?
这是用Java进行XML解析的最佳库。
Java的PriorityQueue的内置迭代器不会以任何特定顺序遍历数据结构。为什么?
如何在Java中聆听按键时移动图像。
Java“Program to an interface”。这是什么意思?
Java在半透明框架/面板/组件上重新绘画。
Java“ Class.forName()”和“ Class.forName()。newInstance()”之间有什么区别?
在此环境中不提供编译器。也许是在JRE而不是JDK上运行?
Java用相同的方法在一个类中实现两个接口。哪种接口方法被覆盖?
Java 什么是Runtime.getRuntime()。totalMemory()和freeMemory()?
java.library.path中的java.lang.UnsatisfiedLinkError否*****。dll
JavaFX“位置是必需的。” 即使在同一包装中
Java 导入两个具有相同名称的类。怎么处理?
Java 是否应该在HttpServletResponse.getOutputStream()/。getWriter()上调用.close()?
Java RegEx元字符(。)和普通点?