如何使用生成器或其他方式设置 TF 2.4 训练数据 产出单个项目而不是整批所有测试使用批次大小 10生产整批

如何解决如何使用生成器或其他方式设置 TF 2.4 训练数据 产出单个项目而不是整批所有测试使用批次大小 10生产整批

我有一个带有一个输入和两个输出的模型设置。我正在尝试使用任何

1. tf.data.Dataset.from_generator
2. fit with regular python generator
3. tf.data.TFRecordDataset

到目前为止，我所有的尝试都遇到了错误，我只能假设这是基于我尝试设置的生成器的输出中涉及的形状/类型。这种生成器的输出应该是什么格式？ 我也非常愿意接受以不同方式做这件事的建议 如果您想浏览，可以download my whole notebook here

输入

模型的输入是形状

(None,)

而且是类型

tf.string

我可以使用

获得模型输出

model(tf.constant(['Hello TensorFlow!']))

输出

模型有两个输出头，第一个是形状

(None,128,5)

第二个是形状

(None,3)

他们都是同类型的

tf.float32

我的模型的损失是稀疏分类交叉熵。 （我想要一个跨 5 或 3 个类别的 softmax，具体取决于头部，对于 128 个输出中的每一个，批次大小都没有）。我相信为此正确的输出格式将是以下格式的 batch_size 实例的元组

(input_string,(output_for_head1,output_for_head2))

其中 input_string 是字符串，output_for_head1 和 output_for_head2 都是形状为 (128) 且类型为 int 的 numpy 数组。

我尝试过一些随机的东西来直接安装在生成器上

产出单个项目而不是整批（所有测试使用批次大小 10）

获取索引越界错误 - 很确定这需要批处理

生产整批

获取错误

    Data is expected to be in format `x`,`(x,)`,y)`,or `(x,y,sample_weight)`,found: ((<tf.Tensor: shape=(),dtype=string,numpy=b'Ya Yeet'>,(<tf.Tensor: shape=(128,),dtype=int64,numpy=... ( a very long set of (128,) tensors which is too large to post here)


     [[{{node PyFunc}}]]
     [[IteratorGetNext]] [Op:__inference_train_function_95064]

Function call stack:
train_function

解决方法

我使用生成器找到了解决方案。我能够首先创建一个生成器，生成可以直接训练模型的 numpy 数组，然后从该生成器的稍微修改版本创建一个 tf.data 数据集。

解决方案是每批只输出 3 个 numpy 数组，例如 input_arr,(output_arr1,output_arr2) 将每个数组的形状扩展为左侧的批大小，而不是长度为 batch_size 的元组。

最终的生成器看起来像这样

def text_data_generator(dataset_path,batch_size,input_text_col='text',output_classes_col='labels',classes=CLASSES,continuity_classes=CONTINUITY_CLASSES,pad_length=128,sep=' '):
    while True:
        for chunk in pd.read_csv(dataset_path,chunksize=batch_size):
            #TODO : Should probably shuffle the dataset somehow
            texts = chunk['text'].values
            c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
            c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
            texts = np.array(texts)
            c_classes = np.array(c_classes)
            c_continuity = np.array(c_continuity)
            yield texts,(c_classes,c_continuity)

和

def tf_text_data_generator(dataset_path,sep=' '):
    for chunk in pd.read_csv(dataset_path,chunksize=batch_size):
        texts = chunk['text'].values
        c_classes = np.stack(chunk['classes'].apply(lambda x : pad([classes.index(item) for item in x.split(sep)])).values)
        c_continuity = np.stack(chunk['continuity'].apply(lambda x : pad([continuity_classes.index(item) for item in x.split(sep)])).values)
        texts = np.array(texts)
        c_classes = np.array(c_classes)
        c_continuity = np.array(c_continuity)
        yield texts,c_continuity)

该模型可以直接在 text_data_generator 实例上进行训练。为了训练另一个生成器，我创建了一个 tf.data.Dataset

def wrapped_gen():
    return tf_text_data_generator("test.csv",10)
dataset = tf.data.Dataset.from_generator(wrapped_gen,(tf.string,(tf.int64,tf.int64)))

然后可以直接传递给model.train，就像实例化的生成器一样。