المساحة تحت المنحنى (AUC)

في تقييم النماذج، تقيس المساحة تحت المنحنى (AUC) مدى كفاءة النموذج في التمييز بين فئتين — الحالات الاحتيالية عن الحالات المشروعة — دون الرجوع إلى أي عتبة قرار محددة. وهي المساحة الموجودة أسفل منحنى خصائص التشغيل للمستقبل، الذي يرسم معدل الإيجابيات الحقيقية مقابل معدل النتائج الإيجابية الكاذبة عبر كل عتبة ممكنة.

التفسير الأكثر فائدة لها هو تفسير بسيط: AUC هو احتمال أن يمنح النموذج حالة احتيالية مختارة عشوائيًا درجة أعلى من تلك الممنوحة لحالة شرعية مختارة عشوائيًا.

الاسم الكامل المساحة تحت منحنى خصائص التشغيل للمستقبل (ROC AUC)
النطاق 0.5 يمثل الترتيب العشوائي؛ 1.0 يمثل الفصل التام
ما الذي يقيسه هذا الجهاز؟ تصنيف الجودة عبر جميع العتبات
ما يتجاهله أين يقع الحد الفاصل فعليًّا، وما هي تكلفة الأخطاء
نقطة ضعف معروفة متفائل بشأن البيانات التي تتسم بانحراف كبير — وهو ما ينطبق دائمًا على حالات الاحتيال
بديل أفضل للأحداث النادرة المساحة تحت منحنى الدقة والاسترجاع

كيفية قراءة قيمة AUC

النموذج الذي يسجل 0.5 لا يتفوق على الصدفة. أما النموذج الذي يسجل 1.0 فيضع كل حالة احتيالية في مرتبة أعلى من كل حالة مشروعة. عادةً ما تقع نماذج الاحتيال الحقيقية في نطاق يتراوح بين 0.7 و0.95، ولا يمكن مقارنة هذه القيمة إلا بين النماذج التي تم تقييمها على نفس البيانات — فمؤشر AUC الخاص بمجموعة معينة لا يعطي أي مؤشر على نموذج تم قياسه على مجموعة أخرى.

الخاصية التي تجعل AUC مفيدة هي أنها مستقل عن العتبة. أ مؤشر الاحتيال لا يصبح الأمر قرارًا إلا عند تطبيق عتبة معينة، وهذه العتبة هي خيار تجاري يتغير وفقًا للتكلفة والرغبة في المخاطرة. ويقوم AUC بتقييم النموذج الكامن وراء هذا الخيار، وهو ما تريده عند مقارنة نموذجين بدلاً من سياستين تشغيليتين.

وهذه الخاصية نفسها هي ما تشكل عائقًا. فمؤشر AUC يلخص الأداء على طول المنحنى بأكمله، بما في ذلك المناطق التي لن يعمل فيها أحد أبدًا. فالنموذج الذي يحقق تصنيفًا ممتازًا عند معدل الإيجابيات الكاذبة البالغ 50٪، ويحقق أداءً ضعيفًا عند معدل 1٪ الذي تعمل به فعليًّا، يمكن أن يسجل مع ذلك قيمة AUC محترمة.

لماذا تُبالغ جامعة الأمريكية بالقاهرة (AUC) في تقدير النماذج المتعلقة بالأحداث النادرة

هذا هو الجزء المهم فيما يتعلق بالاحتيال، وهو ينبع من طريقة حساب معدل النتائج الإيجابية الخاطئة.

يُقسَّم معدل النتائج الإيجابية الخاطئة على عدد الحالات الصحيحة، وفي حالات الاحتيال يكون هذا المقام هائلاً. فالآلاف من النتائج الإيجابية الخاطئة مقابل مليون معاملة صحيحة لا تؤثر فيه إلا قليلاً. لذا، يمكن أن يُنتج النموذج قائمة انتظار للمراجعة غير قابلة للتنفيذ، في حين تظل منحنى ROC يبدو ممتازاً، لأن المنحنى يُقاس مقابل مقام يطغى على الأخطاء.

بشكل ملموس: عند معدل احتيال يبلغ 0.1٪، فإن النموذج الذي يكتشف 80٪ من حالات الاحتيال بمعدل إيجابي كاذب يبلغ 1٪ يُنتج منحنى ROC يبدو قويًا — لكن أكثر من 90٪ من تنبيهاته خاطئة. ولا تعكس مساحة AUC ذلك، لأن الدقة لا تدخل أبدًا في الحساب.

والبديل هو منحنى الدقة والاسترجاع، الذي يرسم منحنى الدقة مقابل الاسترجاع، وبالتالي لا يشمل الحالات السلبية الحقيقية على الإطلاق. وفي المشكلات غير المتوازنة، يميز هذا المنحنى بين النماذج الجيدة والنماذج المتوسطة بشكل أكثر وضوحًا، كما أن خط الأساس الخاص به يتغير وفقًا لمعدل الاحتيال الفعلي بدلاً من البقاء عند 0.5 بغض النظر عن الظروف. وبالنسبة لأي نموذج للكشف عن الاحتيال أو الفرز، يُعد هذا المنحنى الأكثر إفادة من بين الاثنين، إلا أنه نادرًا ما يتم الإبلاغ عنه.

لماذا يعد ذلك مهمًا للتحقق من الهوية

يقيس مؤشر AUC مدى الفصل الذي يمكن للنموذج استخلاصه من السمات المُقدَّمة إليه، مما يجعله مؤشراً مباشراً على جودة السمات وليس فقط على تقنية النمذجة.

عادةً ما تلجأ الفرق التي تسعى إلى تحقيق قيمة AUC أعلى إلى تعديل البنية — سواء باستخدام خوارزمية مختلفة، أو مزيد من الضبط، أو المزيد من بيانات التدريب. وتأتي المكاسب الأكبر عمومًا من السمات التي تحمل معلومات لم تكن متوفرة لدى النموذج من قبل. وتعد سمات الهوية التي تم التحقق منها أوضح مثال على ذلك: فالنموذج الذي يُزوَّد باسم وتاريخ ميلاد أعلنهما مقدم الطلب بنفسه يستنتج استنتاجات حول الادعاءات التي اختارها مقدم الطلب، بينما النموذج نفسه الذي يُزوَّد بسمات مستخرجة من وثيقة مُوثَّقة يستنتج استنتاجات حول الحقائق.

كما أنه يتيح الوصول إلى مجموعة الميزات الأكثر أهمية في مجال مكافحة الاحتيال. فميزات السرعة والشبكة — مثل عدد الطلبات المرتبطة بشخص واحد، وعدد الحسابات المرتبطة بهوية واحدة — تتطلب ربط السجلات بنفس الشخص الحقيقي. ولا يمكن تحقيق هذا الربط استنادًا إلى البيانات المُعلنة ذاتيًا، لأن الغرض الأساسي من هوية مزيفة هو أنها لا تُحل. فالمعرّفات المُثبتة تجعل هذه السمات قابلة للحساب، وهي تُعدّ دائمًا من بين أقوى العوامل التنبؤية المتاحة.

الصراحة المطلقة: لن تخبرك AUC ما إذا كانت بيانات هويتك جيدة أم لا. بل ستتغير نتائجها عندما تقوم بتحسينها، وهذا أمر مختلف وأكثر فائدة.

مقارنة AUC بمقاييس التقييم الأخرى

النظام المتري ما الذي يجيب عليه يُفضل استخدامه عندما
ROC AUC ما هو الترتيب العام لهذا النموذج؟ مقارنة النماذج؛ الفئات متوازنة إلى حد معقول
المكتب الصحفي للاتحاد الأفريقي ما مدى جودة أدائه في الحالات التي تكون فيها النتائج الإيجابية نادرة؟ الاحتيال، الفرز، أي مشكلة تتعلق بعدم التوازن
الدقة من بين ما أشرنا إليه، ما مدى صحة ذلك؟ تعد سعة المراجعة هي القيد المحدد
استدعاء من بين ما كان حقيقيًّا، ما مقدار ما استوعبناه؟ التخلف عن معالجة حالة ما هو التكلفة الأكبر
الدقة ما هي نسبة التوقعات الصحيحة من إجمالي التوقعات؟ لا يحدث ذلك أبدًا تقريبًا في حالات الاحتيال — انظر أدناه

تُدرج «الدقة» في هذا الجدول فقط على سبيل التحذير. فعند معدل احتيال يبلغ 0.1٪، فإن النموذج الذي يوافق على كل شيء دون استثناء يكون دقيقًا بنسبة 99.9٪، لكنه لا يكشف عن أي حالة احتيال على الإطلاق. وأي مقياس للاحتيال يمكن تعظيم قيمته من خلال عدم اتخاذ أي إجراء لا يُعد مقياسًا حقيقيًّا للمشكلة.

ما لا تستطيع الجامعة الأمريكية بالقاهرة إخبارك به

ولم يذكر أين يجب تحديد الحد الأدنى. تقوم AUC بتقييم المنحنى بأكمله؛ أما تشغيل النظام فيتطلب اختيار نقطة واحدة عليه، وهذا الاختيار يعتمد على تكاليف لا تأخذها المقياس في الحسبان أبدًا.

وهي تعالج الأخطاء على قدم المساواة. إن عدم اكتشاف عملية احتيال كبيرة ورفض عميل حقيقي ليسا أمرين متماثلين، لكن هيئة الاتصالات المصرية (AUC) تعاملهما كما لو كانا متماثلين.

لا يمكن مقارنة ذلك عبر مجموعات البيانات المختلفة. تؤدي اختلافات المجموعات السكانية ومعدلات الاحتيال إلى نتائج مختلفة لمقياس AUC من نفس النموذج. ولا تعني المقارنة بين هذه الأرقام عبر المؤسسات مقارنةً بين أي شيء.

إنها تعاني من مشاكل التسمية. يُحسب مؤشر AUC مقارنةً بالتصنيفات، وفي حالات الاحتيال تكون هذه التصنيفات غير مكتملة — فالطلبات المرفوضة لا تُسجل لها أي نتيجة، بينما يُسجل الاحتيال الذي لم يتم اكتشافه على أنه شرعي. ويُعد هذا المؤشر دقيقًا في تقييم البيانات التي تتسم بخطأ منهجي في اتجاه معروف.

الأسئلة الشائعة

ما هي قيمة AUC الجيدة لنموذج الكشف عن الاحتيال؟

تتراوح قيم معظم نماذج الكشف عن الاحتيال في مجال الإنتاج بين 0.7 و0.95، ولا يكون لهذا الرقم معنى إلا عند مقارنته بمجموعة معينة من البيانات. فقد يترافق ارتفاع قيمة AUC في حالة البيانات غير المتوازنة مع قائمة تنبيهات تحتوي على أكثر من 90% من النتائج الإيجابية الكاذبة، لذا لا ينبغي تفسير هذه القيمة بمعزل عن السياق.

ما الفرق بين مساحة تحت المنحنى (AUC) لمؤشر ROC ومساحة تحت المنحنى (AUC) لمؤشر PR؟

يرسم منحنى AUC الخاص بـ ROC معدل الإيجابيات الحقيقية مقابل معدل الإيجابيات الكاذبة، ويشمل الحالات السلبية الحقيقية، التي تهيمن على حالات الاحتيال. أما منحنى AUC الخاص بـ PR فيرسم الدقة مقابل الاسترجاع، ويستبعد الحالات السلبية الحقيقية تمامًا، لذا فهو يعكس ما يواجهه المراجع فعليًّا. وبالنسبة للأحداث النادرة، يُعد منحنى AUC الخاص بـ PR المقياس الأكثر إفادةً.

لماذا تُعد الدقة مقياسًا غير ملائم للكشف عن الاحتيال؟

لأن حالات الاحتيال نادرة. فعند معدل احتيال يبلغ 0.1٪، فإن الموافقة على كل حالة تؤدي إلى دقة تبلغ 99.9٪ دون الكشف عن أي حالة احتيال. ولا يمكن لمقياس يكافئ عدم اتخاذ أي إجراء أن يميز بين النموذج الجيد والنموذج الخامل.

هل يمكن مقارنة AUC بين الموردين؟

فقط على أساس نفس بيانات التقييم. تأتي أرقام كل مزود من مجموعة البيانات الخاصة به، مع معدل الاحتيال الخاص بها وجودة التصنيف الخاصة بها، لذا فإن الأرقام ليست على مقياس موحد. وتتم المقارنة الهادفة من خلال اختبار كلا النموذجين على مجموعة بيانات واحدة تم استبعادها مسبقًا.

مقالات ذات صلة

اكتشف حلولنا

استكشاف حلولنا على بُعد نقرة واحدة فقط. جرّب منتجاتنا أو تحدّث مع أحد خبرائنا للتعمّق أكثر فيما نقدمه.

تقرير
تحديد ملامح تزايد حالات الاحتيال المتعلقة بالهوية المدعومة بالذكاء الاصطناعي

لم يقتصر دور الذكاء الاصطناعي على تسريع عمليات الاحتيال فحسب، بل جعلها نظامًا متكاملًا. فقد قمنا بتحليل ملايين التفاعلات المتعلقة بالهوية لرسم خريطة لكيفية تطور هجمات الهوية عبر المناطق وأنواع الهجمات ومستويات تعقيدها — وما يتعين على المؤسسات إعادة النظر فيه لمواكبة هذه التطورات.

اطلع على البيانات