BERT集成了最近一段时间内NLP领域中的一些顶尖的思想，包括但不限于 Semi-supervised Sequence Learning ， ELMo ， ULMFiT ， and the OpenAI transformer ， and the Transformer .。
