CMU 对现有开源和未开源的 AI 代码生成模型进行了全面深入的系统性评估,并分析了它们在 C、C++、Python 等 12 中不同编程语言中的代码自动完成表现。当前 SOTA 大规模语言代码模型在基于 AI 的编程辅助领域已经取得了重大进展。