人工智能
我们能用数学方法证明一个AI系统是安全的吗?
遥远的地平线为什么重要
神经网络的错误输出可能造成高昂的代价,而仅靠测试可能无法证明人工智能系统能避免危险行为。数学证明可以提供强有力的安全保证,就像关键基础设施已被要求达到的高标准一样。
我们已知
形式化验证已经证明了一些关键软件的正确性。
阻碍所在
神经网络太庞大、太不透明,现有的证明方法无法应对。
当前线索
验证小的部分或输出,能自己写出可检验证明的AI。
子问题
- 如何把“伤害”这样模糊的概念变成计算机能够检验的精确规则?
- 我们能否建立足够精确的世界模型,以证明人工智能的行为会造成什么后果?
- 能否训练人工智能系统来编写目前对人类专家来说工作量过大的安全性证明?
相关问题
来源
尚未经专家审阅。
最近核实: 2026-11-18
本问题的修改记录
返回地图 →