OpenAI 提出梯度噪声规模指标以预测神经网络训练的可并行性

OpenAI 发现梯度噪声规模（gradient noise scale）这一统计指标可预测神经网络训练在多种任务上的可并行性。复杂任务梯度更嘈杂，未来更大的 batch size 可能变得有用，从而移除 AI 系统继续扩大的一个潜在限制；研究还表明神经网络训练可以被严格化和系统化。