OpenAI 研究：深度神经网络中的双下降现象

OpenAI 发现双下降现象同样出现在 CNN、ResNet 和 Transformer 中：随着模型规模、数据规模或训练时间增加，性能先提升、再变差、然后再次提升。这种效应通常可通过精细的正则化避免，但其成因尚不完全清楚，OpenAI 将其视为重要研究方向。