BERT集成了最近一段时间内NLP领域中的一些顶尖的思想,包括但不限于 Semi-supervised Sequence Learning , ELMo , ULMFiT , and the OpenAI transformer , and the Transformer .。