如何解决在TensorFlow中插值权重
A的两个模型具有相同的架构,但训练时损失不同。
这些模型给出不同的结果。我想在这些模型之间“权衡”它们的权重线性:
combined_weights = k * weights_a + (1 - k) * weights_b
我正在研究的问题允许这种方法。有人认为这种方法比对输出进行插值更有效。
我也有这种方法的PyTorch实现:
k = 0.3
model_a = torch.load(...)
model_b = torch.load(...)
combined_model = OrderedDict()
for i,v_a in model_a.items():
v_b = model_b[i]
combined_model[i] = k * v_a + (1 - k) * v_b
torch.save(combined_model,...)
我如何在TensorFlow中做同样的事情? 我尝试结合模型的权重来做到这一点:
k = 0.3
weights_a = model_a.get_weights()
weights_b = model_b.get_weights()
combined_weights = k * weights_a + (1 - k) * weights_b
combined_model.set_weights(combined_weights)
但是在k * weights_a
出现了错误:
can't multiply sequence by non-int of type 'float'
那我该怎么办?
解决方法
那是因为类型不匹配。 weights_a
和weights_b
都是普通的python列表,不能与浮点数相乘(反正这不是您要查找的操作)。
权重以ndarray
格式存储为这些列表的元素。可能最简单的方法是遍历权重并对每个ndarray
k = 0.3
weights_a = ...
weights_b = ...
combined = []
for i in range(len(weights_a)):
c = k * weights_a[i] + (1 - k) * weights_b[i]
combined.append(c)
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。