读取TFRecord数据集时如何标准化多个y值

如何解决读取TFRecord数据集时如何标准化多个y值

我生成的训练数据都是原始值，我想在读取 TFRecord 数据集时对数据进行归一化。第一步，我从训练数据中读取所有原始值，并遍历每个迭代器以连接数组，使用 minmaxscaler 拟合训练数据并获得缩放器。

第二步我写了一个归一化函数来转换所有数据，代码如下：

def normalizeY(inputs,targets):
    targets['Y1'] = scaler_Y1.transform(tf.cast(targets['Y1'],tf.float32))
    targets['Y2'] = scaler_Y2.transform(tf.cast(targets['Y2'],tf.float32))
    targets['Y3'] = scaler_Y3.transform(tf.cast(targets['Y3'],tf.float32))
        
    return inputs,targets
    
dataset = tf.data.TFRecordDataset(filenames)
dataset = dataset.map(_parse_function,num_parallel_calls=AUTOTUNE)
dataset = dataset.map(normalizeY)
dataset = dataset.prefetch(AUTOTUNE)
dataset = dataset.batch(batch_size)

但步骤 dataset.map(normalizeY) 给出错误：TypeError: __array__() takes 1 positional argument but 2 were given

解决方法

我想出了一个解决方案，使用最小值/最大值进行归一化，而不是使用缩放器进行转换。

\\Server1\Users\User1
\\Server2\Users\User1
\\Server3\Users\User1
\\Server4\Users\User1
\\Server5\Users\User1
\\Server6\Users\User1
\\Server7\Users\User1
etc...