OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性

OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。复杂任务的梯度噪声更大，因此未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一个潜在限制。该结果还表明神经网络训练并非神秘技艺，而是可以被严格化和系统化的。