عندما يبدأ الذكاء الاصطناعي في التصرف كأنه موظفون، يجب على الأمن التعامل معه كهوية

تدخل أتمتة المؤسسات مرحلة أصعب. لم يعد السؤال الأمني هو ما إذا كان وكيل الذكاء الاصطناعي يستطيع الإجابة عن طلب ما، بل ما إذا كان يمكن الوثوق به للتصرف داخل الأنظمة الحقيقية دون أن يتحول إلى مستخدم قوي غير مُدار. وبمجرد أن يتمكن الوكيل من المصادقة واستدعاء الأدوات ودفع العمل إلى الأمام من تلقاء نفسه، فإنه يبدأ في الظهور أقل كميزة وأكثر كهوية غير بشرية.

حقائق سريعة

• يمكن لوكلاء الذكاء الاصطناعي الوصول إلى البيانات، وبدء سير العمل، ونشر الشيفرة، والتفاعل مع أنظمة الأعمال الحساسة.
• أصبحت حوكمة الهوية محورية في أمن الوكلاء، وليست مسألة جانبية.
• الإرشادات الناشئة من NIST وOWASP تصف الوكلاء كهوية غير بشرية تحتاج إلى ضوابط صريحة.
• يصبح حقن المطالبات أكثر أهمية عندما يتمكن الوكيل من تحويل الإدخال غير الموثوق إلى أفعال حقيقية.
• تعد بيانات الاعتماد قصيرة الأجل، والأذونات المحدودة النطاق، وسجلات التدقيق من الدفاعات الأساسية للأنظمة الوكيلية.

الخطر الحقيقي هو التفويض، وليس المحادثة

من منظور دفاعي، يتمثل الجزء الخطير من الذكاء الاصطناعي الوكيلي في الانتقال من توليد النصوص إلى السلطة. يحتاج الوكيل الذي يمكنه استدعاء واجهات برمجة التطبيقات، أو فتح التذاكر، أو شحن الشيفرة، أو لمس بيانات الإنتاج إلى دورة حياة هوية واضحة: الإنشاء، والموافقة، ونطاق الوصول، والمراقبة، والإبطال، وإنهاء التخصيص. يشير عمل NIST بشأن هوية الوكلاء البرمجيين ووكلاء الذكاء الاصطناعي والتفويض إلى هذا الاتجاه، كما تتعامل إرشادات التطبيقات الوكيلية من OWASP مع هذه الأنظمة أيضًا كهوية غير بشرية تنطوي على مخاطر الامتيازات ودورة الحياة.

نموذج التهديد العملي بسيط. إذا كان الوكيل يمتلك وصولا واسعًا أو مستمرًا، فإن أي اختراق لتعليماته أو موصلاته أو الأذونات المفوضة له يمكن أن يتحول إلى تأثير تجاري. هذا لا يعني أن كل عملية نشر غير آمنة. لكنه يعني أن على المؤسسات أن تعرف أي وكيل يمكنه فعل ماذا، وبالنيابة عن من، وتحت أي سياسة. وبدون هذا الجرد، قد تفقد فرق الأمن الرؤية في الأفعال التي تبدو مؤتمتة لكنها لا تزال تحمل عواقب على مستوى البشر.

يعد حقن المطالبات جزءًا من هذه الصورة، لكنه ليس القصة كلها. فالمشكلة الأعمق هي التفويض. لا يمكن لتصفية المدخلات وحدها أن تحمي النظام إذا كان الوكيل يمتلك بالفعل القدرة على تنفيذ أفعال عالية الأثر. تفصل التصاميم الأكثر أمانًا بين الاستدلال والتنفيذ، وتفرض عمليات تحقق من السياسات للخطوات الحساسة، وتبقي بيانات الاعتماد قصيرة الأجل ومحدودة النطاق بدقة.

حتى وقت كتابة هذا التقرير، لم تُثبت المعلومات العامة بالكامل السبب التقني الجذري، أو النطاق الكامل للمستخدمين المتأثرين، أو ما إذا كانت الأنظمة اللاحقة قد تعرضت للاختراق. ما هو واضح هو أن انتشار الوكلاء يمكن أن يخلق شكلا جديدا من ديون الهوية: حسابات، ورموز، وأذونات أدوات تفوق المهمة التي أُنشئت من أجلها.

الخلاصة

الدرس ليس أن وكلاء الذكاء الاصطناعي يجب أن يُمنعوا من أعمال المؤسسات. بل يجب أن تُدار هذه الوكلاء كما تُدار الهويات، لأن هذا هو سلوكها بمجرد أن تتمكن من التصرف في العالم الحقيقي. وستكون المؤسسات الرابحة هنا هي التي تستطيع حصر الوكلاء، وتحديد سلطتهم، وإثبات ما فعلوه بعد وقوعه.

ويكي كروك

• وكيل ذكاء اصطناعي: نظام برمجي يمكنه اتخاذ القرارات واتخاذ الإجراءات، وأحيانًا مع إمكانية الوصول إلى أنظمة الأعمال.
• هوية غير بشرية: هوية رقمية تُسند إلى خدمة أو عبء عمل أو وكيل بدلا من شخص.
• حقن المطالبات: نمط هجوم يحاول فيه الإدخال غير الموثوق توجيه نظام الذكاء الاصطناعي إلى سلوك غير آمن.
• أقل قدر من الامتيازات: مبدأ تحكم يمنح الهوية فقط إمكانية الوصول التي تحتاجها، ولا شيء أكثر.
• سجل التدقيق: سجل للأفعال والموافقات يساعد فرق الأمن على تتبع ما حدث ومن أذن به.