TensorFlow tf.data.Dataset - 基于日期/时间创建批次

如何解决TensorFlow tf.data.Dataset - 基于日期/时间创建批次

我创建了以下 tensorflow 数据集对象，它是从从 zip 文件中提取的“txt”文件创建的，每个文件都包含数百万行，因此我将它们保存在 zip 文件中并提取了我需要使用 TF。

import tensorflow as tf

import pathlib
import os
import shutil

symbol = 'AAPL'

data_dir = pathlib.Path('files') / symbol
zip_files = sorted([f for f in data_dir.glob('*.zip')])
zip_file = zip_files[0]

tmp_file = tf.keras.utils.get_file(f"{zip_file.name}",f"file:{zip_file.absolute()}",extract=True,archive_format='zip',cache_subdir='backtest')

tmp_dir = pathlib.Path(tmp_file).parent

data_files = sorted([str(f) for f in tmp_dir.glob('*.txt')])


def preprocess(row):
    row_data = tf.strings.split(row,',')
    datetime,price,volume,_ = tf.unstack(row_data,num=4)
    price = tf.strings.to_number(price,tf.float32)
    volume = tf.strings.to_number(volume,tf.int32)

    return datetime,volume


dataset = tf.data.TextLineDataset(data_files).map(preprocess)

for datetime,volume in dataset.take(10):
    print(datetime.numpy(),price.numpy(),volume.numpy())

shutil.rmtree(tmp_dir)

我希望能够将数据分组到批次中，其中每个批次代表一个日历日，如日期时间列中所示，目前为 tf.string。

脚本的当前输出为：

b'2010-01-04 04:37:38:787' 212.48 100
b'2010-01-04 04:46:49:080' 212.48 100
b'2010-01-04 05:06:21:560' 212.66 100
b'2010-01-04 05:12:57:977' 212.67 100
b'2010-01-04 05:16:05:230' 212.8 100
b'2010-01-04 05:46:57:440' 212.58 100
b'2010-01-04 06:01:34:293' 212.7 100
b'2010-01-04 07:00:58:517' 212.29 100
b'2010-01-04 07:02:03:223' 212.88 100
b'2010-01-04 07:02:03:227' 212.88 200

如果有可能过滤时间也很好，那么最佳输出将是：

2020-01-01 09:30
...
...
2020-01-01 16:00

---NEW BATCH----

2020-01-02 09:30
...
...
2020-01-02 16:00

---NEW BATCH----

感谢您的帮助！