كشفت تجربة لتقييم قدرات الذكاء الاصطناعي في مجال الأمن السيبراني عن قدرة نموذج «جيميني» التابع لشركة جوجل على الوصول إلى أنظمة محمية عبر الإنترنت، بعد أن تمكن خلال اختبار مستقل من العثور على بيانات اعتماد واستخدامها للوصول إلى مواقع وأنظمة لم تكن مخصصة له.
ووقعت الحالات خلال اختبار أجرته في مايو شركة «إيريجولار» المتخصصة في تقييم أمن أنظمة الذكاء الاصطناعي، في واقعة قالت جوجل إنها كانت جزءاً من تقييم اعتيادي لقدرات النموذج.
وبحسب جوجل، تمكن جيميني خلال الاختبار من العثور على معلومات متاحة للعامة عبر الإنترنت، ثم استخدم تلك المعلومات لاستنتاج بيانات دخول إلى ثلاثة مواقع إلكترونية اعتقد النظام أنها تقع ضمن نطاق المهمة التي كان يجري اختبارها.
وقالت هيذر أدكينز، نائبة رئيس جوجل لهندسة الأمن، إن الشركة أخطرت الجهات الثلاث التي تأثرت بالواقعة، كما عملت مع الجهة التي أجرت التدريب على إدخال تعديلات على إجراءات الاختبار.
وأضافت أن ما حدث يبرز أهمية تدريب نماذج الذكاء الاصطناعي القوية على التعامل مع الأنظمة الرقمية بطريقة مسؤولة، خصوصاً مع اتساع نطاق المهام التي باتت قادرة على تنفيذها بصورة مستقلة.
وتشير تفاصيل الاختبار إلى أن النموذج لم يعتمد فقط على تحليل المعلومات التي قدمت إليه، بل تمكن من البحث عبر الإنترنت والعثور على بيانات يمكن استخدامها للوصول إلى أنظمة أخرى.
وفي إحدى الحالات، استطاع جيميني تخمين كلمة مرور مكّنته من الدخول إلى نظام محمي، بينما تمكن في حالتين أخريين من العثور على بيانات اعتماد استخدمها للوصول إلى أنظمة محمية.
ونقلت «وول ستريت جورنال»، التي كانت أول من أورد تفاصيل الواقعة، أن النموذج أوقف محاولاته بعد الوصول إلى الأنظمة الثلاثة.
وأكدت جوجل أن جيميني لم يواصل عمليات الوصول بعد اكتشاف الأنظمة، وأن الحالات الثلاث وقعت في سياق اختبار أمني وليس خلال هجوم يستهدف شركات بصورة فعلية.
ولا تبدو هذه الواقعة منفصلة تماماً عن التحديات التي تواجه مختبرات الذكاء الاصطناعي مع توسع استخدام النماذج القادرة على التفاعل المباشر مع الإنترنت والأنظمة الرقمية.
وقال متحدث باسم «إيريجولار» إن الوقائع التي رصدها الاختبار ترتبط بمشكلة ظهرت أيضاً خلال تقييمات أجريت لصالح مختبرات أخرى، مشيراً إلى أن الجهات المعنية أُبلغت بهذه النتائج في أواخر يوليو.
وأضاف أن المشكلات المعروفة المرتبطة بهذه الاختبارات تمت معالجتها قبل عدة أسابيع.
وكانت شركات ميتا وأنثروبيك وأوبن إيه آي قد كشفت بدورها عن وقائع مرتبطة باختبارات أجرتها «إيريجولار».
وقالت ميتا في أغسطس إن الواقعة التي تخصها لم تتضمن اختراقاً لبيئة معزولة أو هجوماً سيبرانياً متطوراً، فيما تعمل «إيريجولار» على تطوير ممارسات أكثر أماناً لتنفيذ اختبارات الأمن السيبراني على نماذج الذكاء الاصطناعي.
وتعيد هذه الحالات طرح سؤال أساسي حول مستوى الصلاحيات التي ينبغي منحها لوكلاء الذكاء الاصطناعي، خصوصاً مع انتقال هذه الأنظمة من تقديم إجابات نصية إلى تنفيذ عمليات متعددة الخطوات عبر الإنترنت.
فالنموذج الذي يستطيع تصفح المواقع والبحث عن المعلومات والتفاعل مع الخدمات الرقمية يمكنه إنجاز مهام أكثر تعقيداً، لكنه في الوقت نفسه قد يتعامل مع بيانات أو أنظمة خارج النطاق الذي قصده المستخدم إذا لم تكن حدود المهمة محددة بشكل دقيق.
وتزداد حساسية هذه المسألة عندما يتعلق الأمر ببيانات الدخول، لأن العثور على اسم مستخدم أو كلمة مرور أو أي بيانات اعتماد قد يحول مهمة بحثية عادية إلى محاولة وصول فعلية إلى نظام محمي.
ولهذا السبب، تركز اختبارات الأمن السيبراني للذكاء الاصطناعي بصورة متزايدة على ما إذا كان النموذج يستطيع التمييز بين المعلومات التي ينبغي استخدامها لتنفيذ المهمة وتلك التي لا ينبغي له استغلالها.
وتأتي واقعة جيميني في مرحلة تتجه فيها شركات التكنولوجيا إلى تطوير وكلاء أكثر استقلالية، يمكنهم تنفيذ سلسلة من الأوامر بدلاً من الاكتفاء بالرد على أسئلة المستخدمين.
وهذا التطور يوسع نطاق استخدام الذكاء الاصطناعي في البرمجة وتحليل البيانات والبحث والأمن السيبراني، لكنه يجعل تصميم أنظمة الحماية جزءاً أساسياً من عملية التطوير.
وتكشف تجربة «إيريجولار» عن تحدٍ يتجاوز قدرة النموذج على اكتشاف الثغرات، إذ يتعلق بالحدود التي يجب وضعها أمام النظام عندما يمتلك في الوقت نفسه القدرة على البحث في الإنترنت والوصول إلى أدوات وبيانات خارج بيئته الأصلية.
وبينما تؤكد جوجل أن النموذج توقف عن عمليات الوصول في الحالات الثلاث، فإن الواقعة تبرز الحاجة إلى اختبارات أكثر صرامة تسبق منح وكلاء الذكاء الاصطناعي صلاحيات واسعة للتفاعل مع الأنظمة الرقمية، خصوصاً عندما يكون بإمكانهم اكتشاف بيانات اعتماد واستخدامها بصورة مستقلة.
