介绍
BERT在自然语言处理（NLP）领域取得了巨大的成功。使用未经标记的数据集进行训练，可以得到能学会复杂的语言表示形式的大规模模型。那么，我们可以将类似的研究方法应用于化学表示中，尤其是SMILES序列：
自监督学习任务
1.Masked language modeling(MASKEDLM)
BERT提出的规范任务，通过训练模型来预测mask的真实身份。使用序列输出和输入的mask之间的交叉熵损失来优化任务。
2.SMILE
版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。
