قد تترتب على المخرجات الخاطئة للشبكات العصبية عواقب مكلفة، وقد لا تكفي الاختبارات وحدها لإثبات أن نظام الذكاء الاصطناعي يتجنب السلوك الخطر. ويمكن للبراهين الرياضية أن تقدم ضمانات أمان قوية، على غرار المعايير العالية المطلوبة أصلًا للبنية التحتية الحيوية.
ما نعرفه
يثبت التحقق الصوري بالفعل صحة بعض البرمجيات الحرجة.
ما يعيقنا
الشبكات العصبية أكبر وأكثر غموضًا من أن تصلح لها طرائق البرهان الحالية.
المسارات الحالية
التحقق من أجزاء صغيرة أو من المخرجات، وذكاء اصطناعي يكتب براهينه القابلة للتحقق.
أسئلة فرعية
كيف يمكن تحويل فكرة غامضة مثل «الضرر» إلى قاعدة دقيقة يستطيع الحاسوب التحقق منها؟
هل يمكننا بناء نماذج للعالم دقيقة بما يكفي لإثبات ما ستسببه أفعال الذكاء الاصطناعي؟
هل يمكن تدريب أنظمة الذكاء الاصطناعي على كتابة براهين السلامة التي تتطلب اليوم جهدًا كبيرًا جدًا من الخبراء البشر؟