عندما يبدو الذكاء الاصطناعي واثقًا، قد تدفع فرق الأمن الثمن

يمتلك الذكاء الاصطناعي التوليدي موهبة خطيرة: إذ يمكنه تقديم إجابة تبدو مصقولة بما يكفي لتُمرَّر على أنها خبرة حقيقية. وفي الأمن السيبراني، ليست هذه مجرد سمة غير ضارة. فعندما يملأ النموذج الفجوات باختلاقات تبدو معقولة، قد يوجّه المخرجات المحللين نحو استنتاج خاطئ، أو يبطئ الاستجابة، أو يخلق إحساسًا زائفًا باليقين في موضع ينبغي أن تسود فيه الحذر.

حقائق سريعة

• هلوسات الذكاء الاصطناعي هي مخرجات تبدو معقولة لكنها خاطئة أو ناقصة أو مختلقة.
• في المجالات الحرجة، تكون المشكلة الأساسية غالبًا هي الثقة من دون تحقق ذاتي موثوق.
• قد تسيء فرق الأمن استخدام مخرجات الذكاء الاصطناعي في الفرز أو التقارير أو توليد الشيفرة إذا لم تتحقق منها.
• تتعامل كل من OWASP وNIST مع معالجة المخرجات والاعتماد المفرط على الذكاء الاصطناعي باعتبارهما مخاطر أمنية حقيقية.
• يُعد إنريكو فرومنتو، المعرّف بصفته قائد أبحاث الأمن السيبراني في Cefriel، من الأصوات التي تحذر من أن المشكلة تكون أكثر أهمية حيث تكون للأخطاء عواقب تشغيلية.

المشكلة الحقيقية ليست مجرد الخطأ

لا يكمن الخطر التقني فقط في إمكانية أن يكون النموذج مخطئًا، بل في أن يصل الخطأ مغطى بلغة سلسة وبنية مقنعة. يستخدم NIST مصطلح "الاختلاق" لوصف هذا السلوك، وهو توصيف مفيد: إذ ينتج النموذج إجابة مقنعة حتى عندما لا يملك أساسًا موثوقًا لذلك. وهذا مهم لأن المشغلين يميلون إلى الثقة بالمخرجات التي تبدو مكتملة.

وفقًا لإطار المقال، غالبًا ما تُحسَّن هذه الأنظمة للإجابة بدل الامتناع. ويخلق هذا الضغط التصميمي فخًا أمنيًا مألوفًا: إذا كان المساعد نادرًا ما يقول "لا أعرف"، فقد يفترض المستخدمون أن الصمت عن عدم اليقين يساوي الثقة. عمليًا، يمكن أن يعزز ذلك انحياز الأتمتة، حيث يفوض الناس القرار للآلة لمجرد أنها تتكلم بسلاسة.

في سير عمل أمني، يمكن أن ينتشر هذا الانحياز بسرعة. فقد يضلل مؤشر مختلق المحلل. وقد يؤدي تفسير ملفق لنمط في السجلات إلى تشويه الفرز. وقد يضيع إجراء معالجة مزيف الوقت أو يخلق خطرًا جديدًا. هذه أمثلة توضيحية، لكنها تُظهر لماذا يجب التعامل مع مخرجات الذكاء الاصطناعي على أنها مدخلات غير موثوقة إلى أن يتم التحقق منها.

لماذا الأمن السيبراني أكثر تعرضًا للخطر

يعتمد الدفاع السيبراني على الدقة والتوقيت والمساءلة. وهذا يعني أن أي خطأ واقعي صغير قد يكون له أثر كبير إذا أُدرج في دليل إجراءات، أو تذكرة، أو ملخص استخبارات تهديدات، أو توصية استجابة. لا يتمثل الخطر في أن يحل الذكاء الاصطناعي محل فريق الأمن، بل في أنه سيعيد بصمت تشكيل ما يعتقده الفريق أنه صحيح.

ولهذا تؤكد الإرشادات الدفاعية بشكل متزايد على المراجعة البشرية، والتحقق من المخرجات، ووضع حدود واضحة لما يجوز للذكاء الاصطناعي أن يفعله بشكل مستقل. وتبرز إرشادات مخاطر النماذج اللغوية الكبيرة من OWASP حقن الأوامر ومعالجة المخرجات غير الآمنة، وكلاهما مهم عندما تُغذّى النصوص المولدة في أدوات لاحقة أو في قرارات لاحقة. والدرس الأوسع بسيط: إذا كانت المخرجات قد تؤثر في إجراء أمني، فهي تحتاج إلى ضوابط.

وعلى المستوى الاستراتيجي، تشير هذه الحالة إلى مشكلة حوكمة أعمق. فالمؤسسات لا تحتاج فقط إلى نماذج أكثر أمانًا، بل إلى سلاسل قرار أكثر أمانًا حول تلك النماذج، مع التسجيل، وعتبات المراجعة، والاستعداد لرفض الإجابات التي تبدو مؤكدة لكنها لا يمكن تبريرها.

الخلاصة

تصبح هلوسات الذكاء الاصطناعي قضية أمن سيبراني في اللحظة التي يُخلط فيها بين الثقة والتحقق. والدرس ليس الخوف من كل إجابة مولدة، بل التوقف عن التعامل مع اللغة السلسة باعتبارها دليلًا على الصحة. ففي الأمن، غالبًا ما تكون أخطر مخرجات هي تلك التي تبدو مكتملة قبل أن يتحقق منها أحد.

ويكيكروك

• الهلوسة: مخرجات ذكاء اصطناعي تبدو معقولة لكنها تحتوي على معلومات خاطئة أو مختلقة.
• الاختلاق: مصطلح يُستخدم للمحتوى الذي يولده النموذج بثقة من دون سند.
• انحياز الأتمتة: الميل إلى الثقة بالمخرجات الآلية أكثر من الحكم البشري أو الأدلة.
• حقن الأوامر: هجوم يعبث بتعليمات النموذج عبر إدخال مصمم بعناية.
• التحقق من المخرجات: عملية فحص المحتوى الذي يولده الذكاء الاصطناعي قبل استخدامه تشغيليًا.