根据 MiniMax 的技术博客，该公司通过全量词汇扫描在其 M2 系列模型中发现了显著的代币退化。大约 4.9% 的 200,000 个代币出现了明显的性能下降，其中日语代币受创最为严重，为 29.7%；相比之下，韩语为 3.3%，俄语为 3.7%，中文为 3.9%，英语为 3.5%。这种退化源于低频代币在后训练过程中被推入了错误的向量空间方向，而像 tool_call 标记这样的高频代币会持续更新周围的参数。

MiniMax 使用简单的代币重复任务实施了合成数据修复，以稳定整个词汇。结果立竿见影：混入日语回复的俄语字符比例从 47% 降至 1%，并且所有代币的向量稳定性（余弦相似度）从最低 0.329 改善到 0.97 以上。