从代码中，可以看到，词向量包括三个部分的编码:词向量参数，位置向量参数，句子类型参数并且，Bert采用的vocab_size=30522，hidden_size=768，max_position_embeddings=512，token_type_embeddings=2。
关于AIGC系列的文章内容，我们在上一期介绍了基础模型Transformer，本期将会继续介绍基于Transformer模型改进的BERT（双向编码器表示Transformer）模型。如果想要查之前的介绍内容，可以关注本号，翻看之前的文章。
BERT集成了最近一段时间内NLP领域中的一些顶尖的思想，包括但不限于 Semi-supervised Sequence Learning ， ELMo ， ULMFiT ， and the OpenAI transformer ， and the Transformer .。
BERT集成了最近一段时间内NLP领域中的一些顶尖的思想，包括但不限于 Semi-supervised Sequence Learning ， ELMo ， ULMFiT ， and the OpenAI transformer ， and the Transformer .。
