中国团队实现大模型记忆架构创新，记忆张量MemT 1.0发布并开源

10月20日，澎湃新闻记者获悉，由中国团队记忆张量研发的记忆原生模型MemT 1.0系列正式发布并开源。该系列将可持续存在、能够更新的内部记忆纳入模型计算，使历史信息与任务经验能够在后续相关任务中被直接调用，无需再次提供原始历史文本。

据介绍，MemT 1.0包含Flash与Nano两款模型，参数规模分别为288B与36B。研发团队在选定的Transformer模块中引入原生记忆模块，使原有注意力与记忆注意力并行运行，记忆成为模型前向传播的一部分。

在11项记忆基准上，MemT-1.0-Flash与Nano平均得分分别为50.6与47.0，位列参数化记忆方法第一、第二。

目前，MemT 1.0已通过Hugging Face等平台开源，开发者可免费获取模型权重。研发团队表示，下一步将持续提升长期记忆、扩展记忆容量、降低记忆更新成本，进一步探索自主获取经验与跨任务持续整合记忆。（澎湃新闻记者 秦盛）