·由于过分注重尺度定律，人力、算力等大量资源资源投入到尺度定律，导致基层研究人员没有足够多的计算资源研究新的模型路线，挤压创新空间。青年科学家共同探讨大模型技术架构的未来可能性。人工智能大模型技术架构是否已经收敛？未来是否有新的技术可能性？大模型与具身智能如何结合？
我很喜欢杰弗里·韦斯特（Geoffrey West）的著作《Scale》（尺度）这本书，它把复杂的现象用简单而严谨的数学来解释，生动地展示了数学作为世界底层规律的强大力量。一、为什么大象不能飞：数学与生物结构的极限书中探讨了生物体型大小的极限。
“Scaling Law（尺度定律）确实遇到了一些挑战，从语言能力上来看，大模型确实已经达到天花板：所有的能力已经接近人类的极限、人类专家可以评价的极限。”曾经被视为大模型“金科玉律”的Scaling Law似正逐渐放缓，影响了下一代大模型推出的节奏，这已成为AI圈内热议的话题。
人工智能研究还有哪些迫切需要突破的技术？12月13日，在2024浦江AI学术年会期间，上海人工智能实验室领军科学家欧阳万里教授对澎湃科技表示，未来，数据+算力的AI能力增长方式或许将到达极限，目前OpenAI的o1模型已经通过增长测试时间提升模型能力。
张钹:中国科学院院士，清华大学人工智能研究院名誉院长、教授，中国人工智能领域的主要奠基者。他发表了中国第一篇人工智能领域论文，获得了中国这一领域的第一个国际重要奖项，也是首位人工智能领域的中国科学院院士。
“如果说长文本是月之暗面登月的第一步，那么提升模型深度推理能力则是第二步。”11月16日，正值月之暗面Kimi Chat向全社会开放服务一周年之际，月之暗面创始人杨植麟接受了包括澎湃科技在内的媒体采访。
上海人工智能实验室今天对书生大模型进行重要版本升级，书生·浦语3.0（InternLM3）通过精炼数据框架，大幅提升了数据效率，并实现思维密度的跃升。仅使用4T token的预训练数据，即实现主流开源模型18T数据的训练效果，节约训练成本75%以上；同时，书生·浦语3.
大模型热潮已持续近两年。当度过最初的兴奋、回归现实之时，许多从业者、开发者感到失落与迷茫，甚至对未来前景开始有所怀疑。“因为人们总是高估技术的短期价值，却低估技术的长期价值。”在9月25日举办的2024百度云智大会上，百度创始人李彦宏指出。
大模型越大越好吗?商业化落地，究竟是做B端容易还是C端?7月5日，清华大学计算机系长聘副教授，面壁智能联合创始人、首席科学家刘知远现身上海，在WAIC2024的一场分论坛作了主题分享。会后，围绕大模型领域的热点话题，南都记者对话了刘知远。 刘知远说，当前大模型技术还在快速迭代中。
AI大模型是当前全球最热的产业，中国大模型企业正飞速发展。而“大模型”离不开“大装置”，如果没有以算力为核心的基础设施作为支撑，大模型根本就跑不起来。上海有这样一支团队，打造了亚洲最大的人工智能计算中心之一——商汤临港AIDC。
·Scaling law（尺度定律）在逃避一个现实，我们今天并没有找到AI产生如此效果的本质，没有人能用数学的方法描述它。这就好比钻木取火，火有用处，但钻木并非最好的方法。今天的AI依然处在钻木取火阶段，因此成本高昂。
·大模型的上下文长度快速增长，超长上下文解锁新应用，但推理计算代价高昂，上下文本身对于信息不会进行压缩，不能直接捕捉其中的深层知识和规律。上海人工智能实验室领军科学家林达华。过去一年，人工智能领域风起云涌，模型架构、训练数据、多模态、超长上下文、智能体发展突飞猛进。
整个五月，全球科技圈异常热闹。5月14日，OpenAI刚刚发布了新旗舰模型“GPT-4o”，交互能力堪比真人。 一天之后，谷歌就推出视觉识别和语音交互产品Project Astra。大洋彼岸的中国，也聚集了一众参与大模型竞赛的玩家，努力试图缩小与国外科技公司的差距。
