数学
为什么深度神经网络的泛化能力这么强?
已有可靠线索为什么重要
深度学习在实践中效果很好,但我们还不明白其中的原因。了解神经网络为何能泛化,可能解释一些令人困惑的现象(例如能从带噪声的标签中学习),并启发出记忆更少、泛化更好的训练方法。
我们已知
用有限数据训练的巨型网络仍然能处理新样本,这与经典统计学相悖。
阻碍所在
目前没有完整的理论来解释其原因,也无法预测它何时会失效。
当前线索
缩放定律,无限宽度极限,学习动力学研究。
子问题
- 能够记住随机标注数据的网络,为什么在真实数据上仍然泛化得很好?
- 在所有拟合训练数据的解中,梯度下降是如何找到一个泛化良好的解的?
- 能否设计一种更好的度量,衡量训练样本之间的“一致”程度(梯度相干性),并把网络结构考虑在内?
相关问题
来源
尚未经专家审阅。
最近核实: 2026-11-18
本问题的修改记录
返回地图 →