كاشفات المحتوى المصنوع بالذكاء الاصطناعي .. كيف تعمل وما درجة موثوقيتها؟

تهدف أدوات كشف الكتابة بالذكاء الاصطناعي أو كاشفات المحتوى بالذكاء الاصطناعي، إلى كشف ما إذا كان النص قد أُنشئ جزئياً أو كلياً باستخدام تقنيات الذكاء الاصطناعي مثل برنامج شات جي بي تي.

يُعتبر ذلك الأمر مهماً لا سيّما بالنسبة للمعلمين الذين يسعون للتحقق من أن طلابهم يكتبون الواجبات المسندة إليهم بأنفسهم، وأيضًا للمشرفين الذين يرغبون في منع المراجعات الزائفة والمحتوى غير المرغوب فيه.

ومع ذلك، فإن هذه الأدوات ما زالت حديثة وتجريبية، وتُعتبر بشكل عام غير موثوقة إلى حد ما في الوقت الحالي، فيما يلي نوضح آلية عمل هذه الأدوات، ومدى موثوقيتها، وكيفية استخدامها بشكل فعّال.

كيف تعمل أدوات كشف الذكاء الاصطناعي؟

– تعتمد أدوات كشف الذكاء الاصطناعي عادةً على نماذج لغوية متقدمة تشبه تلك المستخدمة في أدوات الكتابة المعتمدة على الذكاء الاصطناعي، التي تهدف إلى اكتشاف النصوص التي قد تكون تم إنشاؤها بها.

– يقوم نموذج اللغة بتحليل المدخلات ويطرح السؤال: “هل هذا هو النمط الذي كنت ستكتبه؟” إذا كانت الإجابة بنعم، فهذا يشير إلى أن النص ربما قد تم إنشاؤه بواسطة نظام الذكاء الاصطناعي.

– تبحث النماذج تحديدًا عن سمتين في النص: الحيرة والاندفاع، كلما انخفضت هذه العوامل، زادت احتمالية أن يكون النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي، ولكن ماذا تعني هذه المصطلحات غير المألوفة؟

– اللبس: وهو مقياس لمدى غموض النص: أي مدى احتمالية أن يشعر القارئ العادي بالارتباك والحيرة عندما لا يفهم المعنى الواضح أو يقرأ النص بشكل طبيعي.

– تستهدف نماذج لغة الذكاء الاصطناعي إنتاج نصوص ذات حيرة منخفضة، والتي يرجح أن تكون منطقية وسهلة القراءة ولكنها أيضًا أكثر قابلية للتنبؤ.

– تميل الكتابة البشرية إلى أن تكون ذات حيرة أعلى: خيارات لغوية أكثر إبداعًا، ولكنها تشمل أيضًا المزيد من الأخطاء المطبعية.

– تعمل نماذج اللغة عن طريق التنبؤ بالكلمات التي قد تأتي بشكل طبيعي في الجملة وإدراجها.

– على سبيل المثال، في الجملة “لم أستطع النوم أخيرًا…”، يمكن أن تحتوي الجملة على استمرارات متعددة بطريقة معقولة، كما هو موضح في الجدول أدناه.

– يُستخدم مستوى الحيرة المنخفض كدليل على أن النص تم إنشاؤه بواسطة الذكاء الاصطناعي، حيث يكون النص منطقياً وسلس القراءة بدرجة عالية.

– الاندفاع هو مقياس للاختلاف في بنية الجملة وطولها، وهو يشبه الحيرة إلى حد كبير، ولكن على مستوى الجمل بدلاً من الكلمات:

– النص الذي يتضمن اختلافات طفيفة في بنية الجملة وطوله يُعد منخفض الاندفاع، أما النص الذي يتميز بتباين كبير في بنية الجمل، فيُصنّف بدرجة عالية من الاندفاع.

– تميل نماذج الذكاء الاصطناعي إلى إنتاج نصوص أقل “اندفاعًا” مقارنة بالكتابة البشرية، ونظرًا لأن النماذج اللغوية تتوقع الكلمات المتوقعة في السياق، فإنها تولد عادة جملًا متوسطة الطول (مثل 10-20 كلمة) وذات هياكل تقليدية، وهذا يفسر لماذا قد تبدو الكتابة بواسطة الذكاء الاصطناعي متكررة في بعض الأحيان.

– يُشير معدل الاندفاع المنخفض إلى احتمالية عالية لأن يكون النص قد تم إنشاؤه بواسطة الذكاء الاصطناعي.

البديل المحتمل: العلامات المائية

– تدعي شركة أوبن إيه آي، الشركة التي تقف وراء شات جي بي تي، أنها تعمل على نظام “العلامة المائية” حيث يمكن إعطاء النص الذي تم إنشاؤه بواسطة الأداة علامة مائية غير مرئية يمكن بعد ذلك اكتشافها بواسطة نظام آخر للتأكد من أن النص تم إنشاؤه بواسطة الذكاء الاصطناعي.

– ومع ذلك، لم يتم بناء هذا النظام بعد، وتفاصيله لا تزال غير معروفة، كما أنه ليس من الواضح إذا ما كانت العلامات المائية المقترحة ستبقى مدمجة في النصوص بعد تحريرها.

– وبالتالي، رغم إمكانية أن تكون هذه الفكرة واعدة كأسلوب لاكتشاف الذكاء الاصطناعي في المستقبل، فإننا لا نملك حتى الآن معرفة كافية لتقييمها بدقة.

ما مدى موثوقية أجهزة كشف الذكاء الاصطناعي؟

– لقد تبين أن كاشفات الذكاء الاصطناعي تعمل عادةً بشكل جيد، خاصة مع النصوص الطويلة، ومع ذلك، يمكن أن تخطئ هذه الأجهزة بسهولة عندما يتم تحرير أو إعادة صياغة مخرجات الذكاء الاصطناعي بعد إنشائها، أو عندما تكون النتائج أقل قابلية للتنبؤ بها.

– وبناءً على ذلك، يمكن لأجهزة الكشف أن تتسبب في ارتباك بين النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي والتي تم تعديلها بشكل متعمد.

– يشير أحد الابحاث إلى أنه فيما يتعلق بأدوات الكشف عن الذكاء الاصطناعي فإنه لا يمكن أن تقدم أي أداة دقة مطلقة، وقد بلغ أعلى معدل دقة وصلنا إليه 84% في إحدى التجارب السابقة.

– توفر هذه الأدوات إشارة قيمة حول احتمالية أن يكون النص من صنع الذكاء الاصطناعي، إلا أننا ننصح بعدم الاعتماد عليها كدليل مطلق، مع تطور النماذج اللغوية، من المحتمل أن تضطر هذه الأدوات إلى مواكبة التطورات بشكل مستمر.

– وحتى مقدمو الخدمات الأكثر موثوقية يعترفون بأنه لا يمكن الاعتماد على أدواتهم كدليل قاطع على أن النص تم إنشاؤه بواسطة الذكاء الاصطناعي، ولذا لا تثق الجامعات كثيرًا في هذه الأدوات حتى الآن.

أجهزة كشف الذكاء الاصطناعي مقابل أدوات فحص الانتحال

– تُعدّ الجامعات بيئة حيوية لتبنّي تكنولوجيا الذكاء الاصطناعي في محاولاتها لاحتواء ظاهرة الغش الأكاديمي، ولكن تختلف هذه التقنيات بشكل كبير في كيفية عملها وأهدافها.

– تتعقب أجهزة كشف الذكاء الاصطناعي النصوص التي يبدو أنها من إنتاج أدوات كتابة ذكاء اصطناعي، حيث تقوم بتحليل خصائص معينة مثل الحيرة والانفجار، دون الاعتماد على قواعد بيانات سابقة.

– من جهة أخرى، يستهدف مدققو الانتحال الكشف عن نصوص مستنسخة من مصادر مختلفة عبر مقارنتها بقواعد بيانات شاملة تضم مصادر متعددة، مثل النصوص الأدبية والأبحاث السابقة للطلاب.

– ومع ذلك، تبرز أدوات فحص الانتحال بوضع علامات على جزء من النصوص التي تم إنشاؤها بواسطة الذكاء الاصطناعي كسرقة أدبية، نظرًا لاستناد كتابتها إلى مصادر غير مستشهد بها.

– وبالرغم من أن الذكاء الاصطناعي قادر على إنشاء جمل أصلية، فإنه قد يتضمن أيضًا جملًا نصية مباشرة أو متشابهة جدًا مع نصوص أخرى موجودة.

– ومن المحتمل أن تظهر هذه الحالات بشكل أكبر في الموضوعات الشائعة أو المعرفة العامة، بينما تكون أقل شيوعًا في الموضوعات المتخصصة التي تمت كتابتها بدرجة أقل.

– لذا، بينما لا تهدف أدوات فحص الانتحال إلى أن تكون بديلاً مطلقًا لأجهزة كشف الذكاء الاصطناعي، إلا أنها تشير إلى أن كتابة الذكاء الاصطناعي قد تكون مسروقة جزئيًا في العديد من الحالات.

– ومع ذلك، فإن فاعليتها في اكتشاف الكتابة الذكية الاصطناعية تبقى أقل بكثير مقارنة بأجهزة الكشف الخاصة بالذكاء الاصطناعي.