وكلاء الذكاء الاصطناعي يتجاوزون خطا خطيرا: عندما يبدأ الأتمتة في التصرف كأنه موظف داخلي
الخطر المؤسسي الجديد ليس روبوت محادثة يجيب بشكل سيئ، بل نظام يستخدم الأدوات ويمكن دفعه لاتخاذ إجراءات عبر منصات الأعمال بامتيازات أكبر بكثير مما قد يدركه المدافعون.
الوكلاء المستقلون للذكاء الاصطناعي يغيرون الحديث عن الأمن. لم يعد الخطر مقتصرا على المخرجات الرديئة أو الإجابات المعيبة. فبمجرد أن يتمكن الوكيل من التنقل بين التطبيقات وإنجاز المهام عبر منصات متعددة، يبدأ في التشبه بطبقة تنفيذ داخل المؤسسة، وليس مجرد نموذج لغوي على الحافة.
حقائق سريعة
- يمكن للوكلاء المستقلين للذكاء الاصطناعي العمل عبر تطبيقات ومسارات عمل متعددة.
- تتعامل الأبحاث الأمنية الحالية مع الوكلاء ذوي الصلاحيات المفرطة على أنهم خطر يشبه خطر المطلعين الداخليين.
- يعد حقن الأوامر أحد المسارات الرئيسية المستخدمة لتشويه سلوك الوكيل.
- يمكن للامتيازات المرتفعة أن تزيد نطاق الأثر لوكيل تم التلاعب به.
- تعمل الضوابط الدفاعية بشكل أفضل عندما تجمع بين مبدأ أقل قدر من الامتيازات، وبوابات الموافقة، والمراقبة.
لماذا تغير نموذج التهديد
كان تهديد المطلع الداخلي الكلاسيكي قائما على شخص لديه وصول مشروع. ويعقد الذكاء الاصطناعي الوكيلي هذا النموذج لأن النظام نفسه قد يمتلك بيانات اعتماد، ويصل إلى عدة أدوات، ويشغل سلسلة من الإجراءات دون انتظار تدخل بشري بعد كل خطوة. عمليا، يعني ذلك أن سؤال الأمن لم يعد فقط ما الذي يعرفه النموذج، بل ما الذي يسمح له بفعله.
ولهذا السبب، يصف الباحثون هذه الأنظمة بشكل متزايد على أنها هويات ذات صلاحيات. إذا تعرض وكيل لمحتوى غير موثوق به، فقد تؤدي تعليمات خبيثة مخفية في مستند أو رسالة أو صفحة ويب أحيانا إلى إعادة توجيه سلوكه. وهذه هي منطقية حقن الأوامر: لا يحتاج المهاجم إلى كسر النموذج أولا، بل يكفيه أن يوجه السياق الذي يثق به.
تدعم المعلومات المتاحة تحليلا للمخاطر، وليس تقرير حادثة نهائيا. لا تحدد أي مواد عامة هنا منظمة ضحية، أو اختراقا مؤكدا، أو سلسلة تسلسل اختراق في العالم الحقيقي. ومع ذلك، يظل القلق التقني جادا لأن الوكيل الذي تم التلاعب به قد يتصرف كأنه وكيل داخلي، وينفذ إجراءات تبدو مصرحا بها ما لم يكن المدافعون يراقبون مسار العمل نفسه.
من منظور دفاعي، يعد أهم ضابط هو مبدأ أقل قدر من الامتيازات. إذا كان بإمكان الوكيل الوصول فقط إلى الأنظمة والإجراءات التي يحتاجها حقا، فإن أثر التلاعب يتقلص. أضف بوابات موافقة للخطوات الحساسة، وافصل التعليمات الموثوقة عن الإدخال غير الموثوق به، وسجل استدعاءات الأدوات بتفاصيل كافية لاكتشاف انحراف الخطة أو التسلسلات غير المعتادة أو القفزات المتكررة عبر المنصات.
تتعامل OWASP وغيرها من الإرشادات الأمنية الآن مع هذه الإخفاقات على أنها مشكلات تصميم، وليست حالات هامشية. والدرس بسيط: بمجرد أن يتمكن وكيل الذكاء الاصطناعي من الفعل، يجب أن يحكم مثل هوية عالية القيمة، لا أن يعامل كمساعد غير ضار.
الخلاصة
التحذير الأعمق ليس أن الذكاء الاصطناعي أصبح شبيها بالبشر. بل إن الأتمتة المؤسسية أصبحت قادرة على التنفيذ، والأنظمة القادرة على التنفيذ يمكن إساءة استخدامها بطرق تبدو داخلية ومشروعة وصعبة الملاحظة. وستكون المؤسسات التي تنجح هنا هي تلك التي تؤمن أذونات الوكلاء قبل أن توسع نطاق الاستقلالية.
TECHCROOK
مفتاح أمان مادي: يمكن لمفتاح الأمان المادي إضافة مصادقة قوية ثنائية العامل إلى حسابات المسؤولين ومسارات العمل الحساسة. بالنسبة للفرق التي تستخدم وكلاء الذكاء الاصطناعي، يعد هذا وسيلة عملية لحماية عمليات تسجيل الدخول ذات الامتيازات، وخطوات الموافقة، وإمكانية الوصول للاسترداد.
WIKICROOK
- الذكاء الاصطناعي الوكيلي: أنظمة ذكاء اصطناعي يمكنها التخطيط واختيار الأدوات وتنفيذ الإجراءات عبر مسارات العمل.
- حقن الأوامر: أسلوب يحاول توجيه الذكاء الاصطناعي عن طريق تضمين تعليمات خبيثة في مدخلاته أو سياقه.
- أقل قدر من الامتيازات: ممارسة إعطاء حساب أو وكيل فقط ما يحتاجه من وصول بشكل مطلق.
- انحراف الخطة: عندما تبدأ إجراءات وكيل الذكاء الاصطناعي في الابتعاد عن المهمة التي كان من المفترض أن ينفذها.
- عزل السياق: فصل التعليمات الموثوقة عن البيانات غير الموثوقة حتى لا يتمكن أحدهما من الكتابة فوق الآخر.
