كشف الاحتيال: تحدي عدم التوازن الشديد في الفئات ومغالطة المقاييس

يُعد الاحتيال أحد أصعب مشكلات التعلم الآلي فهمًا وتطبيقًا، ليس بسبب تعقيد خوارزمياته، بل لندرة الحالات المستهدفة بشكل استثنائي. ففي العديد من المحافظ المالية، تقل نسبة الاحتيال عن واحد بالمائة من إجمالي المعاملات، مما يجعل النموذج يبدو ممتازًا في التقييمات التجريبية (offline evaluation) ولكنه قد يؤدي إلى نتائج تشغيلية كارثية بمجرد نشره في بيئة الإنتاج الحقيقية.

إذا كنت بصدد تقييم مورد لحلول كشف الاحتيال أو بناء نظامك الخاص، فإن الخطوة الأولى هي إدراك أن هذه ليست مشكلة تصنيف تقليدية. إنها مشكلة اتخاذ قرار لحدث نادر مع عواقب تشغيلية وخيمة. عندما تكون حالات الاحتيال نادرة للغاية، تصبح مقاييس مثل "الدقة" (accuracy) بلا معنى تقريبًا. حتى منحنى ROC AUC الذي قد يبدو قويًا، يمكن أن يتصرف بشكل سيئ عند عتبة التشغيل الحية (operating threshold). السؤال الحقيقي ليس "هل يمكن للنموذج فصل الفئات في دفتر ملاحظات؟" بل "هل يمكن للنموذج كشف ما يكفي من الاحتيال عند عتبة لا تغرق الفريق في إيجابيات كاذبة (false positives)؟".

يمكن لموردي الحلول عرض نتائج رائعة في التقييمات التجريبية ومع ذلك تفشل في اختبار الإنتاج. يحدث هذا عادةً لأن التقييم يكون مجردًا جدًا من بيئة اتخاذ القرار الفعلية. قد تكون نسبة الاحتيال في مجموعة التقييم أعلى من المحفظة الحقيقية، أو تركز المقاييس على جودة الترتيب العالمية بدلاً من سلوك العتبة. كما يتم التعامل مع جانب تكلفة مراجعة الإيجابيات الكاذبة كأمر ثانوي. والنتيجة هي قياس الأداء قبل أن يواجه النموذج إشارات مفقودة، أو إثراءً مشوشًا للبيانات، أو أنماط هجوم متغيرة. من الضروري طرح أسئلة مثل: ماذا يحدث عند عتبة التشغيل الفعلية؟ كيف تتصرف الدقة (precision) والاستدعاء (recall) على معدل الأساس الحي؟ وكم عدد الحالات الإضافية التي تصل إلى قائمة المراجعة لكل عملية احتيال إضافية يتم كشفها؟

يمكن أن تكون تقنيات مثل الإفراط في أخذ العينات (oversampling) وتوليد الأقلية الاصطناعية (synthetic minority generation) مفيدة أثناء تطوير النموذج، ولكن من السهل المبالغة في الثقة بها. الخطر ليس في أن هذه الأساليب خاطئة دائمًا، بل في أنها تخلق عالمًا افتراضيًا منظمًا (neat offline world) يخفي فوضى بيئة الإنتاج. فالاحتيال لا يظهر في مجموعات اصطناعية نظيفة، بل يأتي في دفعات مفاجئة وحالات حدودية وأنماط متغيرة تتفاعل مع بقية نظام اتخاذ القرار الخاص بك. على سبيل المثال، قد يقوم فريق بتقييم نموذج على مجموعة بيانات معادلة التوازن ويحصل على نتيجة تبدو ممتازة، ثم يكتشف لاحقًا أن العتبة التي بدت جيدة في الوضع التجريبي توجه عددًا كبيرًا جدًا من الحالات للمراجعة اليدوية في الإنتاج، مما يجعل النموذج غير عملي.

عندما يقارن المشترون بين الموردين، غالبًا ما يسمعون ادعاءات عامة حول جودة الذكاء الاصطناعي أو ذكاء المخاطر أو أداء الكشف. بدون تقييم على مستوى العتبة، تظل هذه الادعاءات غامضة جدًا بحيث لا تكون مفيدة. لذا، يجب أن تتضمن عملية الشراء العملية قائمة فحص API كاملة مع تشغيل تجريبي حقيقي (shadow run) على حركة المرور الخاصة بالعميل. فالنموذج لا يتوقف عند النتيجة؛ بل يستمر تأثيره في قائمة الانتظار، وتجربة المحللين، وعبء دعم العملاء، وقواعد الموافقة المحيطة به. وهنا تبرز أهمية قابلية الشرح (explainability)، فإذا كانت مجموعة الإيجابيات الكاذبة غير مرئية، فإن إصلاحها يستغرق وقتًا أطول. أما إذا تمكن المحلل من رؤية ما دفع القرار، يمكن للفريق تصحيح الأخطاء بشكل أسرع.

ماذا يعني هذا لعملك؟

بالنسبة لكشف الاحتيال، فإن المعيار الصحيح ليس مجرد مقياس نموذجي جميل. إنه نموذج يتصرف جيدًا عندما يكون معدل الاحتيال ضئيلًا، وتكلفة المراجعة حقيقية، ويجب أن تنجو العتبة من ظروف الإنتاج القاسية. هذا معيار أصعب، ولكنه المعيار الوحيد الذي يهم حقًا. إن فهم أن الإيجابيات الكاذبة جزء لا يتجزأ من النموذج، وأن التقييم يجب أن يمتد ليشمل العمليات التشغيلية، هو مفتاح بناء أنظمة كشف احتيال فعالة ومستدامة.