DeepSeek突传大动作。2月18日，DeepSeek在社交平台X上发布了一篇关于NSA的纯技术论文报告。DeepSeek称，NSA是一种与硬件高度适配并可原生训练的稀疏注意力机制，实现超高速长上下文训练与推理。
最近大模型的突破 —— 如 OpenAI 的 o 系列模型、DeepSeek-R1 和 Gemini 1.5 Pro—— 已经能使得模型能够处理整个代码库、长文档、在数千个 token 上保持连贯的多轮对话，并在长距离依赖关系中进行复杂推理。作者在一个 8-GPU A100 系统上评估了 NSA 相对于 Full Attention 的计算效率。
北京时间2月18日，在马斯克还在庆祝Grok 3模型正式发布的时候，DeepSeek官方在社交平台X上发布了一篇纯技术论文，主要是关于原生稀疏注意力，直指ChatGPT等顶尖大模型背后的Transformer架构最核心的注意力机制。
