OpenAI 研究：深度神经网络中的双重下降现象

OpenAI 发现双重下降现象在 CNN、ResNet 和 Transformer 中普遍存在：随着模型规模、数据量或训练时间增加，性能先提升、再变差、然后再次提升，这种效应通常可通过精细的正则化避免。该行为看似相当普遍，但其成因尚未被完全理解，OpenAI 将其视为重要的研究方向。