وكلاء الذكاء الاصطناعي يغيرون شكل التجسس السيبراني
الخطر الحقيقي ليس آلة “تقرر” الهجوم من تلقاء نفسها، بل وكلاء برمجيون يمكنهم تسريع أعمال الاختراق بمجرد تزويدهم بالأدوات والأذونات والهدف.
لم يعد الذكاء الاصطناعي مجرد محرك للمحتوى. في العمليات الأمنية، يجري الحديث عنه بشكل متزايد كطبقة تنفيذ - برمجيات يمكنها التخطيط واستدعاء الأدوات والتنقل بين المهام مع إشراف محدود. وتكتسب هذه النقلة أهمية لأن سطح الهجوم لم يعد يقتصر على ما يكتبه النموذج، بل على ما يُسمح للوكيل بفعله.
حقائق سريعة
- يمكن لأنظمة الذكاء الاصطناعي الوكيلة أن تتخذ إجراءات داخل أدوات خارجية، لا أن تولد النص فقط.
- تتعامل الإرشادات الأمنية الآن مع الأذونات والذاكرة والوصول إلى الأدوات باعتبارها نقاط خطر أساسية.
- وصفت تقارير تقنية تدفقات عمل تجسس منسقة بالذكاء الاصطناعي يمكن أن تشمل الاستطلاع والتعامل مع بيانات الاعتماد والتنقل بين الأنظمة والاستخراج.
- لا يزال المشغلون البشريون مهمين - ففي معظم الحالات، هم الذين يحددون الهدف ويسيطرون على التصعيد.
- ينبغي للمدافعين اختبار حقن الأوامر واختطاف الوكلاء وتسلسل الأدوات غير الآمن.
عندما يصبح المساعد مشغلا
المشكلة العملية في الأمن السيبراني هي التنسيق. فالوكيل المتصل بالمتصفحات أو أنظمة التذاكر أو مخازن الملفات أو مستودعات الشيفرة يمكنه ضغط سلسلة اختراق طويلة إلى تدفق عمل قابل للتكرار. ولا يتطلب ذلك مخططا ذاتي الحكم بالكامل. كل ما يتطلبه هو نظام قادر على اتباع التعليمات وإعادة استخدام الأدوات والاستمرار عندما تكون المهمة متكررة.
ناقش NIST أنظمة وكلاء الذكاء الاصطناعي باعتبارها قادرة على تنفيذ إجراءات ذاتية تفرض مخاطر أمنية مميزة، خاصة عندما يقترن خرج النموذج بإجراءات برمجية في العالم الحقيقي. وبالمصطلحات الدفاعية، يعني ذلك أن الأسئلة الأساسية بسيطة: ماذا يمكن للوكيل أن يقرأ، ماذا يمكنه أن يغير، وماذا يحدث إذا حاول محتوى غير موثوق توجيهه؟
لماذا تهم حالات استخدام التجسس
يعد التجسس حالة دراسية مفيدة لأنه يكافئ النطاق الواسع والصبر والأتمتة. يمكن لوكيل ذكاء اصطناعي تسريع البحث مفتوح المصدر والترجمة والتلخيص والبرمجة النصية الروتينية. وفي بعض البيئات، قد يختصر ذلك الوقت بين الوصول الأولي والنشاط اللاحق. وقد يقلل أيضا من حجم العمل اليدوي المطلوب لتشغيل العديد من العمليات المتشابهة في وقت واحد.
لكن هذا لا يعني أن الذكاء الاصطناعي يعمل بمفرده. تشير تقارير التهديدات من OpenAI وأبحاث ذات صلة إلى أن الجهات الخبيثة غالبا ما تجمع بين الذكاء الاصطناعي والأدوات التقليدية بدلا من استبدالها. ويمكن فهم النمط التشغيلي على نحو أفضل باعتباره جريمة أو تجسسا إلكترونيا موجها من البشر مع مساعدة الذكاء الاصطناعي، لا باعتباره حملة آلة مستقلة بالكامل.
TECHCROOK
بالنسبة للمدافعين، الدرس هو التعامل مع الوكلاء كبرمجيات ذات صلاحيات. ينبغي أن ينطبق مبدأ الحد الأدنى من الصلاحيات على كل استدعاء للأداة. يجب أن تتطلب الإجراءات عالية الخطورة مثل استخدام بيانات الاعتماد أو الحركة الجانبية أو التغييرات التخريبية أو تصدير البيانات موافقة بشرية. وينبغي أن تسجل السجلات ليس فقط النتيجة النهائية، بل أيضا سلسلة الأوامر واستدعاءات الأدوات والمدخلات الخارجية التي أدت إليها.
وفي الوقت نفسه، ينبغي للفرق اختبار حقن الأوامر غير المباشر واختطاف الوكيل، حيث يمكن للبيانات غير الموثوقة أن تتلاعب بالتعليمات داخل سير العمل. ويصبح هذا الخطر خطيرا بشكل خاص عندما يستطيع الوكيل مزج المحتوى الموثوق وغير الموثوق دون حدود واضحة. وتدعم المعلومات المتاحة تحليلا للمخاطر، لا ادعاء حاسما بأن أي حملة محددة قد تم رسمها بالكامل.
الخلاصة
الدرس الأوسع بسيط: يغير الذكاء الاصطناعي المخاطر السيبرانية أكثر عندما يُسمح له بالتصرف، لا بمجرد الإجابة. فالأنظمة الأكثر خطورة ليست تلك التي "تفكر مثل المهاجمين"، بل تلك التي تستطيع تنفيذ أهداف المهاجمين بهدوء داخل البرمجيات اليومية. وفي هذا العالم، لم تعد الأمنيات تقتصر على جودة النموذج. بل أصبحت تتعلق بالإذن والإشراف والقدرة على إيقاف الوكيل قبل أن يتحول سير العمل السريع إلى اختراق حقيقي.
TECHCROOK
مفتاح أمان مادي: مفتاح الأمان المادي هو طريقة بسيطة لتعزيز عمليات تسجيل الدخول إلى البريد الإلكتروني ومستودعات الشيفرة ووحدات تحكم الإدارة ومديري كلمات المرور. وبالنسبة للفرق التي تستخدم وكلاء ذكاء اصطناعي أو تدفقات عمل آلية، فإنه يضيف عاملا ثانيا ماديا ويمكن أن يقلل الضرر الناتج عن كلمات المرور المسروقة أو إعادة استخدام الرموز. اختر مفتاحا يدعم منصاتك واحتفظ بنسخة احتياطية للاستعادة.
WIKICROOK
- الذكاء الاصطناعي الوكيلي: أنظمة ذكاء اصطناعي يمكنها التخطيط وتنفيذ إجراءات عبر أدوات أو خدمات خارجية.
- حقن الأوامر: مدخلات خبيثة مصممة لتوجيه نظام ذكاء اصطناعي بعيدا عن تعليماته المقصودة.
- الحد الأدنى من الصلاحيات: مبدأ أمني يحدد لكل حساب أو أداة فقط مقدار الوصول الذي تحتاجه فعليا.
- الحركة الجانبية: عملية الانتقال من نظام أو حساب إلى آخر داخل شبكة.
- حقن الأوامر غير المباشر: هجوم تتسبب فيه تعليمات مخفية داخل محتوى خارجي في التأثير على وكيل ذكاء اصطناعي أثناء المعالجة.
