谷歌超越transformers

资讯

谷歌推出Transformer架构的继任者Titans：训练代码也会公开
谷歌发布Transformer架构的继任者Titans: 提出了一种新的神经长期记忆模块，它可以学习记忆历史背景，并帮助注意力在利用过去长期信息的同时关注当前背景。
人工智能学家
3评论
谷歌新架构一战成名，打破Transformer记忆瓶颈，姚班钟沛林新作
OpenAI 把它用在推理，谷歌这次把它用在了记忆。一作Ali Behrouz表示:Titans 比 Transformers 和现代线性 RNN 更高效，并且可以有效地扩展到超过 200 万上下文窗口，性能比 GPT4、Llama3 等大模型更好。
量子位
90评论
Google团队发布，一文概览Transformer模型的17大高效变种
在NLP领域transformer已经是成功地取代了RNN，在CV领域也出现了应用，比如目标检测和图像加注，还有RL领域。
数据派THU
8评论
星标破10万！Auto-GPT之后，Transformers越新里程碑
编辑：桃子【新智元导读】问世6年来，Transformer不仅成为NLP领域的主流模型，甚至成功向其他领域跨界，一度成为风靡AI界的机器学习架构。恰在今天，Transformers库在GitHub上星标破10万大关！
新智元
26评论
7年来Google首次更新transformer框架，性能提升50%
随着 Mixtral 8x7B的推出，一种称为混合专家模型的 Transformer 模型在开源人工智能社区引起了广泛关注。
人工智能研究所
77评论
推Transformer革命之作！性能暴涨媲美Llama 2，推理能效大幅碾压
近日，谷歌DeepMind一口气推出两大新架构，在d基准测试中超越了Transformer。——如果真成了，就能跟「Attention Is All You Need」一样名留青史。
新智元
11评论
谷歌称之为“下一代 AI 框架”，Pathways 真有那么强吗？
大家好，我是 Severus，一个在某厂做语言理解的老程序员。今年清明节，Google 搞了一点小动作，在 arxiv 上放出了自己的新工作，PaLM 。
AI科技评论
13评论
谷歌论文提前揭示o1模型原理：AI大模型竞争或转向硬件
OpenAI最强模型o1的护城河已经没有了?仅在OpenAI发布最新推理模型o1几日之后，海外社交平台 Reddit 上有网友发帖称谷歌Deepmind在 8 月发表的一篇论文内容与o1模型原理几乎一致，OpenAI的护城河不复存在。澎湃科技（www.thepaper.
澎湃新闻
4评论
全球最强开源大模型一夜易主！谷歌Gemma 7B今夜重燃开源之战
编辑：编辑部【新智元导读】谷歌发布全球最强开源大模型Gemma，7B性能超越Llama 2 13B！谷歌和OpenAI，已经卷出了新高度。这轮番放深夜炸弹的频率，让人不得不怀疑双方都已经攒了一堆大的。一声炸雷深夜炸响，谷歌居然也开源LLM了？！
新智元
3评论
真开源了！谷歌开年王炸，史上最强开源大模型！
2月22日，谷歌放出开年又一王炸，宣布推出史上最强的开源大模型Gemma，谷歌表示在综合性能上已经超越了Meta推出的Llama-2，在数学和代码能力超过了Mistral-7B，并且Gemma可以在台式机和笔记本上本地部署运行，目前谷歌在Huggingface提供有2B和7B参数
游戏AI君
1评论
超 1.2 万人参加 CVPR 2024，谷歌研究院获得最佳论文
早在2月27日，CVPR 官网就公布了今年的论文接收结果:CVPR 2024 共有 35691 位注册作者，11532 篇提交论文，其中 2719 篇被接收，录用率为 23.6%。
AI科技评论
谷歌揭秘自家翻译系统：如何利用AI技术提高翻译质量
谷歌表示，其翻译突破并不是由单一技术推动的，而是针对低资源语言、高资源语言、总体质量、推理速度等一系列技术组合的突破。
澎湃新闻
AI重磅！百度宣布：“国内首只”，规模10个亿！
据记者了解，这是国内首只大模型专业基金，但在规模上，则可能是创纪录的，超过了此前美国的 OpenAI Startup Fund，该基金的初始规模为1亿美元。
中国基金报
2023 AI现状报告：GPT-4仍最强，监管方向缺乏全球共识
·人工智能安全在2023年首次占据舞台中心。但人工智能界内部存在深刻分歧，世界各国政府采取的做法相互矛盾。挑战性在于，许多正在讨论的全球治理模式都需要目前陷入芯片战争的长期地缘政治对手进行合作。
澎湃新闻
1评论
Transformer推理天花板被谷歌打破？亮出84页PPT，遭LeCun反对
谷歌DeepMind首席科学家Denny Zhou拿出一篇ICLR 2024论文称:CoT可以让Transformer推理无极限。最终，CoT会是通往AGI的正确路径吗?
新智元
9评论
让GPT一步步思考，这一魔咒为何生效？
如今，大型语言模型就像是有着无限词汇量的超级大脑，它们能够帮助我们解答问题、写作文、甚至编故事。但是，就像学生在学习新知识时一样，在学习新知识时，大语言模型需要一步步来，不能一蹴而就。
钛媒体APP
8评论

加载更多

视频

问答