2月18日，在大洋彼岸的马斯克秀出最新大模型Grok 3当天，国产AI公司深度求索（DeepSeek）最新一篇论文引发关注，创始人梁文锋在署名之列，并2月16日提交到预印本平台arxiv。
这篇论文的核心关于NSA(Natively Sparse Attention，原生稀疏注意力)。据DeepSeek，上下文建模对于下一代语言模型至关重要，但标准注意力机制的高计算成本带来了巨大的计算挑战。NSA（稀疏注意力）在提高效率同时，为提高模型能力提供新的方向，实现将算法创新与硬件对齐的优化相结合，进行高效的长上下文建模。
“此次DeepSeek发布的论文，可以称为基石更新。”业内人士向澎湃新闻记者评论，此前的DeepSeek-R1的瓶颈在于输入上下文能力方面相对不足，此次更新正是解决了原先大模型文字处理的问题。
2月18日，就在DeepSeek论文发布当天，月之暗面创始人杨植麟也带领团队发布最新论文《MoBA: MIXTURE OF BLOCK ATTENTION FOR LONG-CONTEXT LLMS（直译为“MoBA：面向长上下文大语言模型的块注意力混合方法”）》，提出了与NSA类似的稀疏注意力框架MoBA，并设计了一套可以自由切换全注意力和稀疏注意力机制的方式，为已有的全注意力模型更多的适配空间。（澎湃新闻记者 范佳来 胡含嫣）
相关文章：
广东：推动政府等公共服务机构率先接入人工智能大模型04-30
西宁：筑牢投资“压舱石”实现首季开门红04-26
“机”聚齐鲁 智启未来 山东省机器人大会在邹城启幕04-26
晨会观点速递：宁德时代快充、钠电等新品发布，打开负极材料新空间04-22
驻马店官方辟谣“有人当街拐孩子”：有精神问题的女子搭讪人家孩子04-20
南航暂停“去哪儿网”销售代理资格04-18
郑州商城路凤台路附近突发火情，附近群众:听到四五声爆炸04-17
广东英德：以数字检察助力法律监督提质增效04-17