长文本对大模型而言为何重要?文|孙欣编辑|姚赟头图来源|视觉中国200万字,意味着什么?《埃隆·马斯克传》30万字,《红楼梦》70万字,《后宫甄嬛传》100万字。如果按照20分钟看1万字的阅读速度来计算,1小时阅读3万字,那么200万字大概要读66.67个小时。
3月18日,国内通用人工智能“初创明星”月之暗面宣布在大模型上下文窗口技术上取得新突破,旗下的Kimi智能助手可支持200万字超长无损上下文,并开启产品内测,随即引发市场关注和热议,并一度因过于火爆“宕机”。根据官方数据,谷歌Gemini1.5 Pro 将上下文窗口容量提到了 100 万 token。