Bert不完全手册6. Bert在中文领域的尝试 Bert-WWM & MacBert & ChineseBert

这一章我们来聊聊在中文领域都有哪些预训练模型的改良方案。Bert-WWM，MacBert，ChineseBert主要从3个方向在预训练中补充中文文本的信息：词粒度信息，中文笔画信息，拼音信息。与其说是推荐帖，可能更多需要客观看待以下'中文'改良的在实际应用中的效果~

Bert-WWM

• Take Away: Whole Word Masking全词掩码
• Paper：Bert-WWM，Pre-Training with Whole Word Masking for Chinese BERT
• Github：https://github.com/ymcui/Chinese-BERT-wwm

全词掩码并不是中文的专属，而是google最早在英文预训练任务中提出的。在英文中的使用方式是当word piece tokenizer把一个单词分割成几个部分时，在MASK阶段只要一个部分被掩码，一个单词的其他部分也会被MASK。google提供的英文全词掩码的处理方式如下，很直观就是把所有'##'的部分都补充进掩码

def create_masked_lm_predictions(tokens, masked_lm_prob,
                                 max_predictions_per_seq, vocab_words, rng):
  """Creates the predictions for the masked LM objective."""
  cand_indexes = []
  for (i, token) in enumerate(tokens):
    if token == "[CLS]" or token == "[SEP]":
      continue
    if (FLAGS.do_whole_word_mask and len(cand_indexes) >= 1 and
        token.startswith("##")):
      cand_indexes[-1].append(i)
    else:
      cand_indexes.append([i])
    ...

而在中文使用中，并不存在字被拆分的情况，因此中文全词是指对词粒度进行掩码。在哈工大开源的Bert/Roberta-WWM系列中，以LTP分词结果作为掩码的最小粒度如下

@H_404_29@