据 Beating AI 披露，OpenAI 即将推出的 Astra 模型采用循环式 Transformer 架构（即循环深度机制），允许相同的信息在生成输出前多次通过 Transformer 层。这种方法不同于标准 Transformer，后者会让每个令牌依次通过固定层数的网络。该技术使模型能够在不延长可见思维链的情况下，增加内部推理计算量。字节跳动的 Seed 团队此前已通过 Ouro 模型率先采用这一方法，证明较小的模型也能通过投入更多内部算力，达到接近较大模型的性能。出于安全考虑，OpenAI 限制了 Astra 对循环深度的使用，以保持推理链的可读性，并增加了额外的思维链监控，因为部分推理发生在隐藏状态中，人类无法验证其是否遵守规范。