微信公众号搜"智元新知"关注
微信扫一扫可直接关注哦!

使用预训练的 ELMo 生成词嵌入 E

如何解决使用预训练的 ELMo 生成词嵌入 E

我正在尝试了解 ELMo 的设计方式及其工作原理,但我有几个问题:

  1. ELMo 架构(如下图所示)是用于训练模型,还是用于使用预训练模型生成依赖于上下文的嵌入?还是两者都一样?

    ELMo architecture

Source

  1. 在将输入传递给 Bi-LSTM 层之前,它会通过卷积神经网络 (CNN) 将单词转换为原始单词向量(基于字符)。 CNN如何做到这一点?有什么有用的参考资料吗?

谢谢。

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。