bingdada循环Transformer通过参数共享实现深度计算，但面临计算冗余问题。阿里团队提出MeSH和SpiralFormer两种方案，分别从动态信息管理和多分辨率序列处理入手，有效提升了循环效率，为下一代高效大模型提供了可行路径。
大模型的性能提升，是否只有"参数膨胀"一条路可走？随着GPT-6 Astra的发布，一种名为"循环深度"（recurrent depth）的技术迅速成为行业焦点，它将同一组Transformer层反复运行，在不增加参数规模的前提下，把计算推向更深层次。这一技术路线让"用计算深度换参数规模"成为可能，但也引发了关于模型可解释性与安全性的新一轮争论。
传统的大模型Scaling法则依赖于参数、数据和训练算力三大支柱。而循环Transformer提供了一种全新的视角：模型不必持续"增重"，通过让同一组参数多次参与计算，也能实现更深层次的信息处理。这种思路在推理模型兴起后尤为引人注目——当生成更长的思维链成为提升推理能力的常见手段时，循环架构则在hidden state内部完成了类似的深度扩展，且不增加额外的显式token开销。
据The Information的报道，GPT-6 Astra正是采用了这种循环深度技术，让同一组Transformer层反复运行。这一消息迅速点燃了学术界和工业界的讨论热情。然而，随之而来的安全隐忧也不容忽视：由于循环过程发生在hidden state中，中间计算未必会形成人类可读的思维链，模型的决策过程可能更难被监测和理解。OpenAI的首席科学家Jakub Pachocki也因此亲自下场回应，并表示将撰写长文完整解释相关技术细节。
值得注意的是，在海外巨头将循环架构推向聚光灯之前，国内研究团队早已在该领域深耕。阿里及合作高校的研究团队在大约11个月前就发表了相关论文，直指循环Transformer面临的核心挑战——"计算冗余"。这一布局体现了国内AI研究在下一代架构探索上的前瞻性。
循环架构虽然省下了参数，但多算的几轮真的能带来等价的智能提升吗？答案并非总是肯定的。研究表明，在同等算力条件下，省了参数的循环模型常常打不过普通Transformer，其症结在于"计算冗余"——循环次数增加了，后续计算带来的增量却越来越小。
通过可视化分析可以清楚地看到这一问题：当信息经过模型的各个模块时，第一次核心循环（core loop）带来了显著的hidden state更新，但随后的循环所产生的变化幅度迅速缩小。这意味着，后续循环虽然消耗了相同的矩阵运算和注意力计算资源，却未能提供足够的新信息增量。
针对循环"空转"问题，阿里团队首先提出了MeSH方案，该论文已被ICLR 2026接收。研究团队深入模型内部，通过分析发现了三个"摸鱼证据"：后续循环的状态更新幅度急剧缩小、相邻轮次的表示高度相似（通过CKA分析）、以及hidden state逐渐挤入低维空间导致表达单一化。
MeSH的解决方案是引入一个可动态存取的"Memory Buffer"（记忆缓冲器），由多个记忆槽组成，用于保存原始输入和循环过程中积累的历史信息。同时配备两个"管理员"：Write Router负责决定当前轮次的新结果如何分摊到各记忆槽，Read Router则负责在下一轮开始前按权重重组信息形成新的hidden state。
这种设计的精妙之处在于，每轮循环都拥有自己的路由器，每个token也能获得不同的读写权重。Memory Buffer将历史信息分流出去，让hidden state能够专注于当前轮次的处理；动态读写路由器则为每轮搭配不同的信息组合，促使共享网络逐渐形成分工，减少重复劳动。
实验数据显示，在Pythia-1.4B级别的测试中，循环结构通过权重共享减少了约33%的非嵌入参数，而加入MeSH后，零样本下游平均准确率反而从普通Transformer的49.50%提升至50.56%。MeSH新增的路由器参数仅占普通Transformer非嵌入参数的约0.005%，额外计算开销约为0.014%，真正实现了"花小钱，办大事"。
如果说MeSH解决了循环之间"拿什么算"的问题，那么SpiralFormer则回答了"以什么粒度算"。这篇被EMNLP 2026接收的论文，将每轮循环的序列长度也变成了可调参数。
研究团队受到Coconut等隐式思考工作的启发，意识到模型中间的"思考"并不一定每一步都需要维持完整、显式的token序列。SpiralFormer采用了一种从粗到细的循环策略：先将相邻token压缩成更短的序列，从原序列的1/8长度开始，随后依次扩展到1/4、1/2，最后回到完整序列。这种设计类似于看地图的过程——先了解城市全貌和区域关系，再逐步放大至街区和道路。
在Pythia-1.4B级别的实验中，SpiralFormer-L的参数量与普通Transformer基本相同，计算量却从14.08T FLOPs降至13.13T，5-shot下游平均准确率则从51.93%提高到54.37%。算得更少，成绩反而更好。
通过probing实验，团队验证了模型确实学会了从全局到局部的信息处理模式：早期低分辨率循环中，注意力分布更广；后期高分辨率循环中，注意力则集中到少数关键位置。这种多分辨率设计是形成分工的关键驱动因素，而非循环自动产生的特性。
从2018年的Universal Transformer到近年的Looped Transformer和latent reasoning研究，循环架构的发展脉络始终围绕一个核心问题：模型想变强，除了继续长大，能否让现有参数多想几轮？
Astra的出现，将这条原本偏学术的路线推到了行业聚光灯下。而阿里团队的两篇论文，则从"查病因"到"改结构"再到"验证效果"，系统地拆解了循环Transformer落地的具体卡点。正如arXiv上的MeSH论文和SpiralFormer论文所展示的，这些工作正在把"用更少参数撑起更强模型"的可能性一步步做实。
不过，循环架构虽然省下了参数，但并未省下计算。要让每一轮计算都产生真正的价值，仍需解决信息分工和计算粒度等深层次问题。下一代高效大模型是否会从这条路线中生长出来，目前下结论还为时尚早，但阿里团队的研究无疑为这一方向提供了坚实的技术支撑。
循环Transformer是一种让同一组Transformer层反复运行的架构设计。它通过参数共享的方式，在不显著增加参数规模的前提下，实现更深层次的计算，从而提升模型的信息处理能力。
主要挑战是"计算冗余"问题。随着循环次数增加，后续计算带来的信息增量会迅速缩小，导致算力浪费。此外，循环过程发生在hidden state中，模型的可解释性和安全性也面临新的考验。
MeSH解决了循环之间信息管理的问题，通过引入Memory Buffer和动态读写路由器，让每轮循环能够处理不同的信息组合；SpiralFormer则解决了计算粒度问题，通过多分辨率序列处理，让模型从全局到局部逐步聚焦。
传统Scaling主要依靠增加参数、数据和训练算力，而循环架构通过计算深度换取参数规模。它提供了一种新的可能性：模型规模可以保持不变，但内部计算却能一层层加深。
Bingdada 是一个专注 SEO、GEO（生成式引擎优化）与 AEO（答案引擎优化）的内容平台，由资深内容编辑、SEO 技术工程师与 AI 研究专家组成的团队持续运营。我们追踪搜索引擎与生成式 AI 的最新动态，为读者提供准确、实用、可落地的方法论与行业洞察。
编辑团队：内容策划 · 技术编辑 · AI 研究组
网站：bingdada.com
© 2026 Bingdada. 保留所有权利。
Put your brand in the reader feed
In-article ad slots: high-attention moments perfect for product launches and event recruitment.
SEO & GEO 技术探索者，专注于搜索引擎优化和生成式引擎优化。
GPT-6 Astra 发布后，用户疯狂使用其进行 3D 建模、游戏开发等复杂任务，导致全网 API 额度迅速耗尽。OpenAI 频繁进行额度重置以应对需求。本文分析了 Astra 的四种 3D 玩法、其背后的技术逻辑，以及对未来创作工具的影响。
GPT Image 2.5通过匿名模型在LMArena测试中展现出惊人能力：生成速度快、照片级真实感、文字渲染精准。版本号从2.1跃升至2.5的背后，是AI图像生成从"能看"向"能用"的关键跨越。
市场监管总局约谈六大酒店预订平台防范"内卷"竞争风险，支付月付产品去向引发关注，华为问界合作模式调整，小红书发布金融生态公约，海外AI安全监管与自研芯片同步推进。
Get the latest SEO & GEO insights.
We respect your privacy. You can unsubscribe at any time.
