Infini-Attention 复现失败实验：压缩次数越多性能越差，长上下文仍靠 Ring Attention 与 YaRN

Hugging Face 复现 Google 的 Infini-Attention 后发现，随着记忆压缩次数增加，模型性能持续下降，且 90% 时间耗在调试收敛问题上。团队认为，将预训练模型扩展到更长上下文，Ring Attention、YaRN 和 rope scaling 仍是目前最佳方案。相关训练 checkpoint 已开源，代码按原样提供。