人工智能
人工智能能可靠地推理并知道自己何时出错吗?
突破在望为什么重要
人工智能模型在不确定时有时会猜测,给出看似合理却错误的说法,从而削弱人们的信任。能够可靠推理、并在不知道时坦承的人工智能,对依赖它的人来说会更有用,也更值得信赖。
我们已知
推理模型在数学和代码方面已有显著进步。
阻碍所在
它们仍会信心十足地陈述错误内容,并错误判断自己的不确定性。
当前线索
答案的自动验证,用经过核对的结果训练,校准置信度。
子问题
- 人工智能如何才能学会认识自身知识的边界?
- 如果测试不再奖励猜测而惩罚“我不知道”,人工智能编造的错误答案会不会减少?
- 为什么额外的训练会让模型更难判断自己应有多大把握?
相关问题
来源
尚未经专家审阅。
最近核实: 2026-11-18
本问题的修改记录
返回地图 →