为什么 ColumnTransformer 使用相同的代码但不同的 .csv 文件产生不同的输出？

如何解决为什么 ColumnTransformer 使用相同的代码但不同的 .csv 文件产生不同的输出？

我正在努力完成 this 课程，希望能够在春季之前完成这种入门级别的课程。这是我在这个令人难以置信的资源上的第一篇文章，并将尽我最大的努力符合发布格式。作为加强我的学习和致力于长期记忆的一种潜在方式，我正在我自己的数据集上尝试相同的事情，该数据集包含 500 个以上的条目，其中包含与我更相关的数据，而不是虚拟数据。

我正在学习数据预处理阶段，如果我理解正确，您可以在该阶段填充缺失值并将列分成各自的 X 和 Y 以供稍后输入模型。

所以在课程示例中，它是左上角的国家数据集。然后左下角是我自己的数据数据库，我在玩的多人游戏中保存了大约一年。它有 100 个左右的角色可供您选择，他们可以在 5 个不同的分类角色中扮演。

Course data set (top left) personal dataset (bottom left personal dataset column transformed results

产生的不同输出是怎么回事，唯一的区别是数据集（.csv 文件）？课程的数据集看起来不错；第一列国家（文本类别）在输出中变成了二进制向量，不是吗？为什么我的数据集上的输出省略了列，并生成了这些看起来很奇怪的元组，然后是一个看起来像随机数的元组？我试过删除 np.array 函数，我试过在每个级别打印每个输出，但看不出是什么导致了差异。我希望在我的数据集上，它会将字符的名称转换为二进制向量（1/0 的组合？），以便计算机可以理解差异并将它们映射到适当的结果。相反，我得到了以前从未见过的奇怪的输出。

编辑：原来这些奇怪的数字组合就是所谓的“稀疏矩阵”。不得不从产生 csr_array 的 type() 开始做一些研究。如果我理解我正确阅读的内容，那么里面的所有内容都占一列，所以我只是使用 [:] 尝试了所有行/列，但没有出现错误。

非常感谢您的时间和帮助。

编辑：多亏了这个线程，我才能结束这个数据预处理/导入/清理/阶段练习，使用我自己的约 550 行数据集进行特征缩放。

import pandas as pd
import numpy as np
from sklearn.compose import ColumnTransformer
from sklearn.preprocessing import OneHotEncoder,LabelEncoder,StandardScaler
from sklearn.model_selection import train_test_split

# IMPORT RAW DATA // ASSIGN X AND Y RAW
df = pd.read_csv('datasets/winpredictor.csv')

X = df.iloc[:,:-1].values
y = df.iloc[:,-1].values

# TRANSFORM CATEGORICAL DATA
ct = ColumnTransformer(transformers=\
[('encoder',OneHotEncoder(),[0,1])],remainder='passthrough')
le = LabelEncoder()

X = ct.fit_transform(X)
y = le.fit_transform(y)

# SPLIT THE DATA INTO TRAINING AND TEST SETS
X_train,X_test,y_train,y_test = train_test_split(\
X,y,train_size=.8,test_size=.2,random_state=1)

# FEATURE SCALING
sc = StandardScaler(with_mean=False)

X_train[:,:] = sc.fit_transform(X_train[:,:])
X_test[:,:] = sc.transform(X_test[:,:])

解决方法

首先，我鼓励你继续学习这门课程，相信你会在几周内成为一名完美的数据科学家。

让我们谈谈你的问题。看起来你只是有一个可视化问题，因为不同类型的“英雄”（我认为你有 37 个唯一值）。

我将向您解释您绘制的结果。他们编程仅指示您与 0 不同的样本值：

• (0,10)=1 --> 0代表第一个样本，10代表第10个样本 等于 1 的样本值。

• (0,37)=5 --> 0代表第一个样本，37代表第37个，等于5。

等等。

所以您的第一个样本将类似于：

[0,1,..........,5,980,-30,1000,6023]

这是表达“Jakiro”第一个样本的方式。

["Jakiro",6023]

总而言之，前 37 个值是指您的 OneHotEncoder，后 5 个是指您的初始数值。

所以它似乎是正确的，只是由于分类变量的类很大，所以绘制结果的方式不同。

您可以尝试减少 X 行的数量（例如减少到 4 行），并尝试相同的过程。然后您将获得与课程类似的输出。