如何解决Tensorflow估算器:使用加权分布概率的样本
我想使用加权分布(概率)采样数据
示例如下:
类分配:
doc_distribution = {0: 40,1: 18,2: 8,3: 598,...,9: 177}
我将以同等的概率制作一批数据集。
total_dataset = 0
init_dist = []
for value in doc_distribution.values():
total_dataset += value
for value in doc_distribution.values():
init_dist.append(value / total_dataset)
target_dist = []
for value in doc_distribution.values():
target_dist.append(1 / len(doc_distribution))
然后,我用input_fn
中的tf.estimator
导出模型,
def input_fn(ngram_words,labels,opts):
dataset = tf.data.Dataset.from_tensor_slices((ngram_words,labels))
rej = tf.data.experimental.rejection_resample(class_func = lambda _,c : c,\
target_dist = target_dist,initial_dist = init_dist,seed = opts.seed)
dataset = dataset.shuffle(buffer_size = len(ngram_words) * 2,seed = opts.seed)
return dataset.batch(20)
最后,我可以得到rejection_resample
的结果,如下所示:
for next_elem in a:
k = next_elem[1]
break
dist = {}
for val in np.array(k):
if val in dist:
dist[val] += 1
else:
dist[val] = 1
print(dist)
结果是:{3: 33,8: 14,4: 17,7: 5,5: 10,9: 12,0: 6,6: 3}
我不知道为什么rejection_resample
不能正常工作,我只想平等地提取样本。
我该如何解决?
在input_fn
的{{1}}中是否有任何方法可以均等采样?
解决方法
我们可以使用tf.data.experimental.sample_from_datasets
代替rejection_resample
。
unbatched_dataset = [(dataset.filter(lambda _,label: label == i)) for i in range(0,classify_num)]
weights = [1 / classify_num] * classify_num
balanced_ds = tf.data.experimental.sample_from_datasets(unbatched_dataset,weights,seed=opts.seed)
dataset = balanced_ds.shuffle(buffer_size = 1000,seed = opts.seed).repeat(opts.epochs)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。