OpenAI 详解大型神经网络训练技术

大型神经网络是近期多项 AI 进展的核心，但其训练是一项困难的工程与研究挑战，需要编排一整个 GPU 集群来完成单次同步计算。OpenAI 分享了训练这类大型神经网络的相关技术。