微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

NotImplemeted错误:在model.fit中使用分布式TF并在类中定义Elmo嵌入时

如何解决NotImplemeted错误:在model.fit中使用分布式TF并在类中定义Elmo嵌入时

我正在尝试使用来自tensorflow_hub的 Elmo ,并已在此类中对其进行了定义:

class ElmoEmbeddingLayer(Layer):
def __init__(self,**kwargs):
    self.dimensions = 1024
    self.trainable=True
    super(ElmoEmbeddingLayer,self).__init__(**kwargs)

def build(self,input_shape):
    self.elmo = hub.Module('https://tfhub.dev/google/elmo/2',trainable=self.trainable,name="{}_module".format(self.name))

....

然后我要用以下这些来编译模型:

input_text = layers.Input(shape=(1,),dtype=tf.string)
  embedding = ElmoEmbeddingLayer()(input_text)
  dense = layers.Dense(256,activation='relu')(embedding)
  ...
  model.summary()

我将多工镜像策略声明为:

strategy = tf.distribute.experimental.MultiWorkerMirroredStrategy()

最后,从strategy.scope()内部编译模型并拟合模型。我看到这个错误

File "./lib/python3.7/site-packages/tensorflow_core/python/ops/variables.py",line 568,in constraint
raise NotImplementedError

我正在使用TF 1.15和python 3.7。任何帮助将不胜感激。 注意:相同的分布式TF适用于更简单的顺序模型。同样的代码也可以在没有分布式TF的情况下工作。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。