·专家警告，ChatGPT等人工智能驱动的机器人可能很快就会“耗尽宇宙中的文本”。同时，用AI生成的数据“反哺”AI或造成模型崩溃。未来模型训练使用的高质量数据可能会愈来愈昂贵，网络走向碎片化和封闭化。
在 Bert 问世之处，在 NLP 领域也算是一颗炸弹，同时在许多自然语言处理的常见任务如情感分析、命名实体识别等中都刷到了 SOTA，Bert 家族的出色代表除了谷歌提出的 Bert 、ALBert之外，还有百度的 ERNIE、Meta 的 RoBERTa、微软的 DeBERTa等等。
2)大规模:OpenAI 在《Scaling Laws for Neural Language Models》中提出 LLM 模型所 遵循的“伸缩法则”，即独立增加训练数据量、模型参数规模或者延长模型训 练时间，预训练模型的效果会越来越好。流程＃1:数据采集。
AI大模型不断涌现，“百模大战”愈演愈烈。但不论是To B还是To C的大模型，都面临训练数据日渐匮乏的问题。业内有报告预测，语言数据将于2030~2040年耗尽，其中能训练出更好性能的高质量语言数据将于2026年耗尽；此外，视觉数据将于2030~2060年耗尽。
乘数而上之AI语料新生态·语料交易继国家数据局等17部门联合印发《“数据要素x”三年行动计划(2024-2026年)》之后，中央面向公共数据开发利用的首个顶层设计文件《关于加快公共数据资源开发利用的意见》公布，构建公共数据资源开发利用“1+3”政策规则体系。
“能够助力人工智能实现‘换道超车’的是语料数据……高质量语料数据直接决定了大模型训练效果的上限。”在2025年上海两会期间，上海市政协委员、上海库帕思科技有限公司CEO黄海清在接受澎湃新闻独家专访时表示，未来，行业垂类大模型将成为中国大模型产业的主战场。
8月22日晚间，百度创始人、董事长兼首席执行官李彦宏在财报后的电话会议上公布了一系列AI大模型相关的最新数据。他透露，百度文心大模型的日均调用量超6亿次，日均处理Tokens文本约1万亿。对比23年Q4公布的5000万次日均调用量，半年增长超10倍。
科技巨头微软或正在研发参数达5000亿的全新AI（人工智能）大模型，将正面叫板谷歌和OpenAI。当地时间5月6日，据外媒报道，微软正在研发一款名为MAI-1的最新AI大模型，其规模远超出微软此前推出的一些开源模型，在性能上或能与谷歌的Gemini 1.
