ImageDataGenerator 与 flowfromDataframe 输出时间步长

如何解决ImageDataGenerator 与 flowfromDataframe 输出时间步长

我正在尝试使用不同的图像作为输入（不是视频）来实现 CNN + LSTM 网络。我将所有层 VGG-16 与 Timedistributed 层一起使用（直到输出层之前的最后一个完全连接的密集层）。最后一个 VGG 层之后是一个 LSTM 层（我希望它执行 20 个时间步长）和一个具有 sigmoid 激活的输出密集层，因为它是一个多标签分类模型。这是我使用 Keras 的代码：

test_datagen=ImageDataGenerator(rescale=1./255.)
train_generator=datagen.flow_from_dataframe(

dataframe=df[:132160],directory="/images/train",x_col="Filenames",y_col=columns,batch_size=batch_size,seed=42,shuffle=True,class_mode="raw",target_size=(224,224))

valid_generator=test_datagen.flow_from_dataframe(
dataframe=df[132160:144320],directory="/images/valid",224))

test_generator=test_datagen.flow_from_dataframe(
dataframe=df[144321:],directory="/images/test",batch_size=1,shuffle=False,class_mode=None,224))

imgs,labels = next(train_generator)
print(imgs.shape)

# Building the model
model = Sequential()
model.add(Timedistributed(Conv2D(filters=64,kernel_size=(3,3),padding="same",activation="relu",input_shape=(None,20,224,3))))
model.add(Timedistributed(Conv2D(filters=64,activation="relu")))
model.add(Timedistributed(MaxPooling2D(pool_size=(2,2),strides=(2,2))))
model.add(Timedistributed(Conv2D(filters=128,activation="relu")))
model.add(Timedistributed(Conv2D(filters=128,2))))
model.add(Timedistributed(Conv2D(filters=256,activation="relu")))
model.add(Timedistributed(Conv2D(filters=256,2))))
model.add(Timedistributed(Conv2D(filters=512,activation="relu")))
model.add(Timedistributed(Conv2D(filters=512,2))))
model.add(Timedistributed(Dropout(0.5)))
model.add(Timedistributed(Flatten()))
model.add(Timedistributed(Dense(units=4096,activation="relu")))
model.add(Timedistributed(Dense(units=4096,activation="relu")))
model.add(SimpleRNN(units=10))
model.add(Dropout(.2)) #added
model.add(Dense(num_class,activation="sigmoid"))
model.compile(optimizers.Adam(lr=0.0001,decay=1e-6),loss="binary_crossentropy",metrics=["accuracy"])


imgs,labels = next(train_generator)
print(imgs.shape)
model.fit(x=train_generator,steps_per_epoch=len(train_generator),validation_data=valid_generator,validation_steps=len(valid_generator),epochs=15,verbose=2
          )

此外，我收到以下错误：ValueError: input tensor must have rank 4

我的问题如下：我希望 ImageDataGenerator 可以返回一个 5d 输入形状，如下所示：([batch],[time steps],[img_hight],[img_width],[channels])。此外，我希望它与 flow_from_dataframe 扩展一起使用，因为从 csv 文件中读取多标签可能会更容易。关于如何自定义 ImageDataGenerator 以获得 5d 输入形状的任何建议？或者我该如何解决这个 ValueError？