क्या हम गणितीय रूप से सिद्ध कर सकते हैं कि कोई AI प्रणाली सुरक्षित है?
दूर क्षितिज
यह क्यों महत्वपूर्ण है
न्यूरल नेटवर्क के गलत आउटपुट के महंगे परिणाम हो सकते हैं, और केवल परीक्षण शायद यह न दिखा पाएँ कि कोई AI प्रणाली खतरनाक व्यवहार से बचती है। गणितीय प्रमाण सुरक्षा की मज़बूत गारंटी दे सकते हैं, वैसे ही ऊँचे मानकों की तरह जो महत्वपूर्ण बुनियादी ढाँचे के लिए पहले से ज़रूरी हैं।
हम क्या जानते हैं
औपचारिक सत्यापन पहले से कुछ महत्वपूर्ण सॉफ़्टवेयर की शुद्धता सिद्ध करता है।
रुकावट क्या है
न्यूरल नेटवर्क मौजूदा प्रमाण विधियों के लिए बहुत विशाल और अपारदर्शी हैं।
वर्तमान सुराग
छोटे हिस्सों या आउटपुट का सत्यापन, AI जो अपने जाँचे जा सकने वाले प्रमाण खुद लिखे।
उप-प्रश्न
‘नुकसान’ जैसे अस्पष्ट विचार को ऐसे सटीक नियम में कैसे बदला जाए जिसे कंप्यूटर जाँच सके?
क्या हम दुनिया के ऐसे मॉडल बना सकते हैं जो इतने सटीक हों कि साबित कर सकें कि किसी AI के कार्यों का क्या परिणाम होगा?
क्या AI प्रणालियों को वे सुरक्षा प्रमाण लिखने के लिए प्रशिक्षित किया जा सकता है, जो आज मानव विशेषज्ञों के लिए बहुत ज़्यादा मेहनत वाले हैं?