如何解决BERT 可以用来训练非文本序列数据进行分类吗?
BERT 可以用于非文本序列数据吗?我想尝试使用 BERT 解决序列分类问题。数据不是文本。换句话说,我想从头开始训练 BERT。我该怎么做?
解决方法
Transformer 架构可用于任何事物,只要它是离散符号序列即可。 BERT 使用标记语言模型目标进行训练,即,训练它以根据序列的其余部分填充序列中的空白。如果您的数据属于这种类型,您可以在其上训练一个类似 BERT 的模型。对于连续向量序列,您需要想出一个合适的替代掩码语言建模的方法。
您可以学习可以在线找到的众多教程中的任何一个,例如从 Huggingface blog 或 towardsdatascience.com。
版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。