北京日报客户端 | 记者 孙奇茹10月30日，北京人工智能大模型企业百川智能发布Baichuan2-192K大模型，其上下文窗口长度达192K，是目前全球最长的上下文窗口，能够处理约35万个汉字，是目前支持长上下文窗口最优秀大模型Claude2（支持100K上下文窗口，实测约8万
昨天，斯坦福大学、加州伯克利大学和Samaya AI的研究人员联合发布的一个论文中有一个非常有意思的发现:当相关信息出现在输入上下文的开始或结束时，大模型的性能通常最高，而当大模型必须访问长上下文中间的相关信息时，性能显著下降。
新京报贝壳财经讯（记者白金蕾）11月16日下午，在2023西丽湖论坛上，百川智能与鹏城实验室宣布将携手探索大模型训练和应用，合作研发基于国产算力的128K长窗口大模型“鹏城-百川·脑海33B”。百川智能和鹏城实验室展示了双方共同研发的“鹏城-百川·脑海33B”大模型。
中新网北京11月19日电 (记者 张素)上下文窗口长度，对于模型理解和生成与特定上下文相关文本极为重要，是大模型核心技术之一。记者近日采访获悉，鹏城实验室等相关机构开展合作，在国产算力大模型长窗口技术方面有所突破。
界面新闻记者 | 李京亚界面新闻编辑 | 大模型一周年之际，业界对各类工作的重要程度开始达成共识，比如多位开发者就公认，扩展大模型上下文长度是非常重要的工作，甚至会成为大模型落地的瓶颈，向量数据库则是另一个。
本报记者 陈子帅 杨沙沙 马梦阳编者的话：一款擅长处理长文本的国产大模型日前引发广泛关注。据香港《南华早报》报道，中国人工智能公司“月之暗面”（Moonshot AI）宣布旗下大模型Kimi已经能够处理200万汉字的无损上下文，比去年10月时20万汉字的水平有了明显突破。
·“OpenAI正在研究把1000万颗GPU连在一起做大模型的技术。GPT-3.5用了4000颗GPU，做GPT-4是25000颗，英伟达一年生产能力只有100万颗。”10月31日，百川智能创始人兼首席执行官王小川在云栖大会上演讲。
比如我要生成下面的图片，我需要告诉ai我的要求，于是我输入了prompt:small blue kiddie size pool in background with dog laying inside it eating bubbles 35mm lens。
金磊 明敏 发自 凹非寺。虽然Yi系列大模型出道时间相对较晚，但从效果上来看，绝对称得上是后发制人。命名来自“一”的拼音，“Yi”中的“Y”上下颠倒，巧妙形同汉字的 “人”，结合AI里的 i，代表 Human + AI。
OpenAI的对手越追越紧了。美国当地时间4月18日，Meta发布了Llama 3开源大模型，包括Llama 3 8B和Llama 3 70B。Meta同时透露，目前其最大参数模型已超400B（4000亿）参数，但还在训练。
·大模型开源基金包括三个“1000”，智谱AI将为大模型开源社区提供1000张卡助力开源开发，提供1000万元现金支持与大模型相关的开源项目，为优秀开源开发者提供1000亿免费API tokens。GLM-4文生图和多模态理解得到增强。
「技术正变得更民主化」撰文：王杰夫编辑：吴洋洋Key PointsGPT-4升级版GPT-4 Turbo来了，上下文窗口达到128k，为GPT-4的4倍；OpenAI还降低了几乎所有模型的API使用价格，整体便宜了一半多；GPT-4系列的多模态能力向B端用户开放；每个人都可以定制
