Terra Incognita
人工智能

我们能用数学方法证明一个AI系统是安全的吗?

遥远的地平线

为什么重要

神经网络的错误输出可能造成高昂的代价,而仅靠测试可能无法证明人工智能系统能避免危险行为。数学证明可以提供强有力的安全保证,就像关键基础设施已被要求达到的高标准一样。

我们已知

形式化验证已经证明了一些关键软件的正确性。

阻碍所在

神经网络太庞大、太不透明,现有的证明方法无法应对。

当前线索

验证小的部分或输出,能自己写出可检验证明的AI。

子问题

相关问题

来源

尚未经专家审阅。

最近核实: 2026-11-18

本问题的修改记录

返回地图 →