从代码中，可以看到，词向量包括三个部分的编码:词向量参数，位置向量参数，句子类型参数并且，Bert采用的vocab_size=30522，hidden_size=768，max_position_embeddings=512，token_type_embeddings=2。
在小型模型时代，参数量较少，智能理解方面存在局限性。其次，需要关注大模型相关算法的完整链路，包括预训练、SFT、Reward Model 等，以及优化策略如 PPO，在实际应用中还会使用 RAG 技术。
界面新闻记者 | 陈振芳界面新闻编辑 | 刘方远著名计算机科学家、“AI教母”李飞飞曾在自传《我看见的世界》中说：“历史刚被创造出来，但世界只有少数人知道。”2020年3月，OpenAI发布GPT3大模型。除了部分行业内人士，很少有人能预料到世界将因此发生巨变。
ChatGPT是OpenAI研发的聊天机器人程序，通过大量语料学习后，可以像人类一样进行聊天交流，甚至能完成撰写代码、论文和视频脚本等任务。ChatGPT一经问世，便引发广泛讨论，似乎是一次科技史的利维坦事件。
