حرب مع خوارزميات خفية تحاصر الفقر

مرحبا هبر! أشارككم منشورًا يشرح كيف تكتشف مجموعة من المحامين الأنظمة الآلية التي تحرم الفقراء من السكن والوظائف والخدمات الأساسية وتكافحها. يتم النظر في التجربة الأمريكية ، ولكن في روسيا ستكون هذه المشكلة ذات صلة أيضًا قريبًا جدًا ، لأن خوارزميات تسجيل الائتمان يتم تنفيذها بنشاط في بلدنا. وأين تطرح أسئلة حول أخلاقيات مثل هذه الأنظمة ، إن لم يكن بين أولئك الذين ينشئونها؟












المقدمة



كانت ميريام تبلغ من العمر 21 عامًا فقط عندما قابلت نيك. كانت مصورة ، تخرجت مؤخرًا من الكلية ، وتخدم الطاولات. كان يبلغ من العمر 16 عامًا وكان يمتلك نشاطًا تجاريًا في التمويل. كان ساحرًا وجذابًا. أخذها في مواعيد خيالية ودفع ثمن كل شيء. وسرعان ما وقعت تحت تأثيره.



بدأ كل شيء ببطاقة ائتمان واحدة. كانت الوحيدة مع ميريام في ذلك الوقت. زاد نيك ديونه من خلال عمليات الشراء التجارية بمقدار 5000 دولار وسددها بسرعة في اليوم التالي. ميريام ، التي طلبت مني عدم الكشف عن أسمائهم الحقيقية خوفًا من التدخل في إجراءات الطلاق ، وجدت حيلة نيك تعزز تصنيفها الائتماني. نشأت مع أب واحد في أسرة منخفضة الدخل ، وثقت بمعرفة نيك أكثر من نفسها. دعمها نيك بسهولة ، قائلاً إنها لا تفهم التمويل. فتحت له عدة بطاقات ائتمان أخرى باسمها.



بدأت المشكلة بعد ثلاث سنوات. طلب نيك من ميريام ترك وظيفتها لمساعدته في العمل ، وهو ما فعلته. أخبرها نيك أن تذهب إلى كلية الدراسات العليا ولا تقلق بشأن تفاقم ديونها الحالية للطلاب. أطعت ميريام نيك مرة أخرى. لقد وعد بالعناية بكل شيء ، وصدقته. بعد فترة وجيزة ، توقف نيك عن دفع فواتير بطاقات الائتمان. بدأ حساب ميريام يتلاشى.

ومع ذلك بقيت ميريام مع نيك. تزوجا وأنجبا ثلاثة أطفال. ثم ذات يوم داهم عملاء مكتب التحقيقات الفيدرالي منزلهم واعتقلوا نيك. وجد قاضٍ فيدرالي أن نيك مذنب بما يقرب من 250 ألف دولار في عملية احتيال. اكتشفت ميريام مبلغ الدين بعشرات الآلاف من الدولارات التي أصدرها نيك باسمها. تقول ميريام: "في اليوم الذي دخل فيه السجن ، كان لديّ 250 دولارًا نقدًا ، ومنزل وسيارة بكفالة ، وثلاثة أطفال". "في غضون شهر ، تحولت من القدرة على توظيف مربية ، من العيش في منزل جميل وكل هذا النوع من الفقر الحقيقي".



عاشت ميريام ما أسمته "الدين القسري" ، وهو شكل من أشكال العنف يرتكبه عادة شريك أو أحد أفراد الأسرة. تعد الانتهاكات الاقتصادية مشكلة طويلة الأمد: فقد سهلت الخدمات المصرفية الرقمية فتح الحسابات والإقراض باسم الضحية ، كما تقول كارلا سانشيز آدامز ، محامية المساعدة القانونية في Texas RioGrande. في عصر خوارزميات التصنيف الائتماني الآلي ، يمكن أن تكون العواقب أكثر تدميراً.



تم استخدام درجات الائتمان لتقييم الجدارة الائتمانية للمستهلك لعقود من الزمن ، ولكن الآن بعد أن استند الحساب إلى الخوارزميات ، فإنها مهمة أكثر من ذلك بكثير: فهي لا تمثل فقط بيانات أكثر بكثير ، من حيث الحجم والنوع ، ولكنها تؤثر أيضًا بشكل متزايد على ما إذا كان بإمكانك شراء سيارة أو استئجار شقة أو الحصول على وظيفة دائمة. تأثيرها الواسع يعني أنه إذا كان لديك ائتمان سيئ ، فمن المستحيل تقريبًا التعافي. والأسوأ من ذلك ، أن الخوارزميات مملوكة لشركات خاصة لا تكشف عن كيفية وصول هذه الخوارزميات إلى حلولها. يمكن للضحايا أن ينزلوا في سلم اجتماعي ينتهي بهم الأمر في بعض الأحيان إلى فقدان منازلهم أو العودة إلى المعتدي.



ليست خوارزميات تصنيف الائتمان هي الوحيدة التي تؤثر على الرفاه الاقتصادي للأشخاص ووصولهم إلى الخدمات الأساسية. تحدد الخوارزميات الآن أي الأطفال ينتهي بهم الأمر في رعاية التبني ، ومن المرضى الذين يتلقون الرعاية الطبية ، والعائلات التي تحصل على سكن ثابت. أولئك الذين يمتلكون الوسائل منا يمكنهم أن يعيشوا حياتنا غير مدركين لأي شيء من هذا القبيل. ولكن بالنسبة لذوي الدخل المنخفض ، أدى النمو السريع وإدخال أنظمة اتخاذ القرار الآلية إلى إنشاء شبكة مخفية من الفخاخ المترابطة.



لحسن الحظ ، ينظم المزيد والمزيد من المحامين المدنيين حول هذه القضية. بعد استعارة كتاب مدرسي عن مكافحة خوارزميات تقييم المخاطر من العالم الإجرامي ، يسعون جاهدين لدراسة هذه الأنظمة ، وإنشاء مجتمع وتطوير استراتيجيات للسلوك في التقاضي. تقول ميشيل جيلمان ، أستاذة القانون الإكلينيكي بجامعة بالتيمور: "يبدأ كل محامٍ مدني أساسًا في التعامل مع هذه المادة لأن جميع عملائنا يتأثرون بطريقة ما بهذه الأنظمة". - نحن بحاجة إلى الاستيقاظ والتعلم. إذا أردنا أن نكون محامين جيدين وشاملين فعلينا أن نكون على دراية بما يحدث ".



"هل سأقوم بفحص الخوارزمية؟"



يمارس جيلمان القانون في بالتيمور منذ 20 عامًا. لطالما كان عملها كمدافعة عن الحقوق المدنية ومكافحة الفقر يتلخص في نفس الشيء: لقد مثلت الأشخاص الذين فقدوا الوصول إلى الاحتياجات الأساسية مثل السكن أو الغذاء أو التعليم أو العمل أو الرعاية الصحية. يعني هذا النوع من العمل أحيانًا التصادم مع وكالة حكومية. في حالات أخرى ، تكون وكالة الإبلاغ عن الائتمان أو صاحب المنزل. على نحو متزايد ، يؤثر النضال من أجل حق العميل على خوارزمية أو أخرى.



تقول: "مع عملائنا ، يحدث هذا بشكل تدريجي". "إنهم متشابكون مع العديد من الخوارزميات المختلفة التي تمنع استخدام الخدمات الأساسية. وقد لا يكون العملاء على دراية بهذا لأن العديد من هذه الأنظمة غير مرئية ".







بالنسبة للأشخاص ذوي الدخل المنخفض ، يمكن أن تؤدي إحدى المصاعب الاقتصادية المؤقتة إلى حلقة مفرغة تنتهي أحيانًا بالإفلاس أو التشرد.



لا تتذكر جيلمان بالضبط متى أدركت أن بعض القرارات المتعلقة بالقبول تتخذها الخوارزميات. لكن عندما كان هذا التحول في بدايته ، نادرًا ما كان واضحًا. في إحدى المناسبات ، مثلت جيلمان عميلة عجوز معاقة تم قطعها لسبب غير مفهوم عن الرعاية المنزلية التي ترعاها. تتذكر قائلة "لم نتمكن من معرفة السبب". كانت تزداد سوءًا ، وعادة ، إذا ساءت ، تحصل على ساعات أكثر ، وليس أقل ".



لم يكن الأمر كذلك حتى وقفت جيلمان وموكلها في قاعة المحكمة في منتصف الجلسة حيث أفاد شاهد يمثل الدولة أن الحكومة قد وضعت للتو خوارزمية جديدة. لم تستطع الشاهدة ، الممرضة ، تفسير أي شيء.



قال جيلمان: "بالطبع لا - لقد اشتروه من الرفوف [حول عدم طلب المنتج السائب]". "إنها ممرضة وليست عالمة كمبيوتر. لم تستطع الإجابة عن العوامل التي تؤثر على سلوك النظام. كيف يتم وزنهم؟ ما هي النتائج المتوقعة؟ " لذلك أنا هنا مع المحامي الطالب الذي كان معي في عيادتي القانونية ، وسألني شيئًا مثل ، "أوه ، هل سأقوم بفحص الخوارزمية؟"



بالنسبة إلى كيفين دي ليبان ، المحامي في مكتب المحاماة Arkansas Legal Aid ، كان التغيير خائنًا بنفس القدر. في عام 2014 ، أدخلت ولايته أيضًا نظامًا جديدًا لتوزيع الرعاية الصحية المنزلية الممولة ، مما أدى إلى عزل عدد من الأشخاص الذين كانوا مؤهلين سابقًا للحصول على هذه الرعاية. في ذلك الوقت ، لم يكن هو وزملاؤه قادرين على تحديد السبب الجذري لهذا القطع. كانوا يعرفون فقط أن شيئًا ما قد تغير. "يمكننا أن نفهم أن هناك تغييرًا في أنظمة التصنيف من استبيان ورقي يحتوي على 20 سؤالًا إلى استبيان إلكتروني يحتوي على 283 سؤالًا" ، كما يعترف.



بعد عامين فقط ، عندما أدى خلل في الخوارزمية مرة أخرى إلى اتخاذ إجراء قانوني ، وصل دي ليبان أخيرًا إلى لب الموضوع. لقد أدرك أن الممرضات كن يخبرن المرضى ، "حسنًا ، الكمبيوتر فعل ذلك - لم أكن أنا."



يقول: "هذا ما نبهنا". يضيف دي ليبان: "إذا كنت أعرف ما كنت أعرفه في عام 2016 ، فمن المحتمل أن أحمي العميل بشكل أفضل في عام 2014".



يمر الشخص بالعديد من الأنظمة كل يوم



منذ ذلك الحين ، اكتسب جيلمان الكثير من الخبرة. مثلت العملاء الذين يعانون من مجموعة من المشاكل ، وشاهدت ظهور وتصادم شبكتين خوارزميتين. تتكون الشبكة الأولى من خوارزميات إعداد التقارير الائتمانية ، مثل تلك التي حاصرتها ميريام ، والتي تؤثر على الوصول إلى السلع والخدمات الخاصة مثل السيارات والمنازل والوظائف. تحتوي الشبكة الثانية على خوارزميات تعتمدها الهيئات الحكومية والتي تؤثر على الوصول إلى السلع العامة مثل الرعاية الصحية والبطالة وخدمات دعم الطفل.



فيما يتعلق بتقارير الائتمان ، كان الدافع وراء نمو الخوارزميات هو انتشار البيانات التي أصبح جمعها ونشرها أسهل من أي وقت مضى. التقارير الائتمانية ليست جديدة ، ولكن تأثيرها أكثر شمولاً هذه الأيام. تقوم وكالات تقارير المستهلك ، بما في ذلك مكاتب الائتمان وشركات التحقق من المستأجرين وما إلى ذلك ، بجمع هذه المعلومات من مجموعة واسعة من المصادر: السجلات العامة ، ووسائل التواصل الاجتماعي ، وتصفح الويب ، والخدمات المصرفية ، واستخدام التطبيقات ، والمزيد. تقوم الخوارزميات بعد ذلك بتعيين درجات "الجدارة" للأشخاص ، والتي تقطع شوطًا طويلاً نحو عمليات التحقق من الخلفية التي يقوم بها المقرضون وأصحاب العمل وأصحاب العقارات وحتى المدارس.



من ناحية أخرى ، تضطر الوكالات الحكومية إلى اعتماد خوارزميات عندما تريد ترقية أنظمتها. بدأ اعتماد تطبيقات الويب والأدوات الرقمية في أوائل العقد الأول من القرن الحالي واستمر مع التحول نحو المزيد من الأنظمة الآلية المعتمدة على البيانات والذكاء الاصطناعي. هناك أسباب وجيهة للسعي لتحقيق مثل هذا التغيير. خلال الوباء ، كافحت العديد من أنظمة إعانات البطالة للتعامل مع الحجم الهائل للطلبات الجديدة ، مما أدى إلى تأخيرات كبيرة. يعد ترقية هذه الأنظمة القديمة بنتائج أسرع وأكثر موثوقية.



لكن عملية شراء البرامج نادرًا ما تكون شفافة ، وبالتالي لا توجد مساءلة. غالبًا ما تشتري الوكالات الحكومية أدوات صنع القرار الآلية مباشرة من البائعين الخاصين. نتيجة لذلك ، عندما تسوء الأنظمة ، يترك المتضررون ومحاميهم في الظلام. تشكو جوليا سيمون ميشيل ، المحامية في مكتب المحاماة فيلادلفيا للمساعدة القانونية ، "إنهم لا يحذرون من هذا في أي مكان". نادرًا ما يتم كتابة هذا في أي دليل أو تعليمات. نحن في وضع غير مؤات ".



كما أن عدم وجود رقابة عامة يجعل الخوارزميات أكثر عرضة للخطأ. واحدة من أكثر المشاكل فظاعة حدثت في ميتشيغان في عام 2013. بعد بذل الكثير من الجهد لأتمتة نظام إعانة البطالة الحكومي ، الخوارزميةأخطأ في تصنيف أكثر من 34000 شخص على أنهم محتالون . يقول سايمون ميشيل: "أدى ذلك إلى خسارة فادحة في الفوائد". - كانت هناك حالات إفلاس ، ولسوء الحظ ، كانت هناك حالات انتحار. لقد كانت فوضى كاملة ".







يخشى جيلمان أن يتم تقنين الديون وعمليات الإخلاء المتعلقة بفيروس كورونا في نقاط ائتمان ، مما يجعل من الصعب على الناس إلى الأبد الحصول على وظائف وشقق وقروض.



يتحمل الأشخاص ذوو الدخل المنخفض العبء الأكبر للانتقال إلى الخوارزميات. هؤلاء هم الأشخاص الأكثر عرضة للصعوبات الاقتصادية المؤقتة التي تم تدوينها في تقارير المستهلكين ، وأولئك الذين يحتاجون إلى الفوائد ويسعون إليها. على مر السنين ، شهد جيلمان المزيد والمزيد من الحالات التي يتعرض فيها العملاء لخطر الدخول في حلقة مفرغة. تقول: "يمر الشخص بالعديد من الأنظمة كل يوم". - أعني أن هذا يحدث للجميع. لكن العواقب أسوأ بكثير بالنسبة للفقراء والأقليات ".



تستشهد بقضية حالية في عيادتها القانونية كمثال. فقد أحد أفراد الأسرة وظيفته بسبب الوباء وحُرم من إعانات البطالة بسبب فشل النظام الآلي. توقفت الأسرة بعد ذلك عن دفع الإيجار ، مما أدى إلى مقاضاة صاحب العقار لهم بتهمة الإخلاء. على الرغم من أن الإخلاء لن يكون قانونيًا بسبب الوقف الاختياري لمكافحة الأمراض والوقاية منها، ستظل المطالبة مسجلة للجمهور. يمكن بعد ذلك استخدام هذه السجلات في خوارزميات اختيار المستأجر ، مما قد يجعل من الصعب على الأسرة العثور على سكن مستقر في المستقبل. كما أن عدم قدرتهم على دفع الإيجار والمرافق يمكن أن يكون بمثابة ضربة لعشرات الائتمان الخاصة بهم ، مع عواقب مرة أخرى. يقول جيلمان: "إذا حاول الناس استخدام الهواتف المحمولة أو الحصول على قرض أو شراء سيارة أو التقدم للحصول على وظيفة ، فإن هذه الآثار المتتالية المتتالية ستحدث".



كل حالة بشرية ستتحول إلى حالة خوارزمية



في سبتمبر ، أصدر جيلمان ، الذي يعمل الآن في معهد أبحاث البيانات والمجتمع ، تقريرًا أوجز جميع الخوارزميات التي قد يواجهها محامو الفقر. تقرير بعنوان "فقر الخوارزميات" ( قوانين الفقر ) وصمم ليكون دليلاً للمحامين في هذا المجال. ينقسم التقرير إلى مجالات محددة من الممارسة مثل قانون المستهلك وقانون الأسرة وقانون الإسكان والسلع العامة. يشرح الحديث كيفية التعامل مع التحديات التي تفرضها الخوارزميات والتقنيات الأخرى التي تعتمد على البيانات ضمن التشريعات الحالية.



على سبيل المثال ، إذا تم رفض العميل شراء شقة بسبب التصنيف الائتماني المنخفض ، يوصي التقرير بأن يتحقق المحامي أولاً مما إذا كانت البيانات التي تم إدخالها في نظام التسجيل دقيقة. بموجب قانون الإبلاغ عن الائتمان العادل ، يُطلب من الوكالات المبلغة ضمان دقة معلوماتها ، ولكن هذا ليس هو الحال دائمًا. يمكن أن يساعد الطعن في أي مطالبات خاطئة في استعادة رصيد العميل وبالتالي الوصول إلى السكن. ومع ذلك ، يقر التقرير بأن القوانين الحالية يمكن أن تساعد فقط في تحقيق ذلك. يقول جيلمان إنه لا تزال هناك ثغرات تنظيمية يجب سدها.



يأمل جيلمان أن يكون التقرير بمثابة دعوة للاستيقاظ. لا يزال العديد من زملائها لا يفهمون ما يحدث ولا يمكنهم طرح الأسئلة الصحيحة لاكتشاف الخوارزميات. ينتشر الأشخاص المدركون للمشكلة في جميع أنحاء الولايات المتحدة ، ويدرسون المشكلة ، ويتجهون إلى نقطة المشكلة ، ويقاتلون الخوارزميات وحدها. يرى جيلمان أن هناك فرصة لجمعهم معًا وإنشاء مجتمع أوسع من الأشخاص الذين يمكنهم مساعدة بعضهم البعض. يقول جيلمان: "نحتاج جميعًا إلى معرفة المزيد ومعرفة المزيد - ليس فقط فيما يتعلق بالقانون ، ولكن أيضًا من حيث الأنظمة نفسها". في النهاية ، يبدو أن كل حالة بشرية ستتحول إلى حالة خوارزمية ".



على المدى الطويل ، يسعى جيلمان إلى الإلهام في عالم العدالة الجنائية. وتقول إن المحامين الجنائيين "عملوا قبل المنحنى". نظموا أنفسهم في مجتمع وحاربوا خوارزميات تقييم المخاطر لتحديد الحكم ، مما أدى إلى تأخير تنفيذها. يريد جيلمان من المحامين المدنيين أن يفعلوا الشيء نفسه: إنشاء حركة لجلب المزيد من التدقيق العام والتنظيم إلى الشبكة الخفية من الخوارزميات التي يواجهها عملاؤهم. وتقول: "في بعض الحالات ، ربما يتم إغلاق النظام فقط لأنه لا توجد طريقة لجعله عادلاً".



أما ميريام ، فبعد إدانة نيك ، ذهبت إلى الأبد. انتقلت ميريام وأطفالها إلى الولاية الجديدة واتصلوا بمنظمة غير ربحية تدعم الناجين من الديون القسرية والعنف المنزلي. بمساعدة المنظمة ، أخذت ميريام عدة دورات لتعليمها كيفية إدارة شؤونها المالية. ساعدت المنظمة ميريام على إغلاق العديد من الديون القسرية ومعرفة المزيد عن خوارزميات الائتمان. عندما ذهبت لشراء سيارة بمساعدة والدها ، الذي أصبح راعياً ، بالكاد وصل تصنيفها الائتماني إلى الحد الأدنى المطلوب. منذ ذلك الحين ، أدت مدفوعات سيارتها المستمرة وديون الطلاب إلى زيادة درجة الائتمان الخاصة بها بشكل مطرد.



لا تزال ميريام بحاجة لأن تكون على اطلاع. نيك لديها رقم الضمان الاجتماعي الخاص بها ولم يتم الطلاق بعد. إنها قلقة باستمرار من أن نيك سيفتح حسابات أخرى ويأخذ قروضًا جديدة باسمها. لفترة من الوقت ، كانت تتحقق من بيان بطاقة الائتمان الخاصة بها يوميًا بحثًا عن الاحتيال. لكنها الآن تتطلع إلى الأمام. يريد والد ميريام ، وهو في الستينيات من عمره ، التقاعد والانتقال. كلاهما يركزان الآن على الاستعداد لشراء منزل. "أنا متحمس جدا حول هذا الموضوع. هدفي هو جعلهم يصلون إلى 700 بحلول نهاية العام ، "كما تقول عن درجاتها الائتمانية ،" وبعد ذلك سأكون بالتأكيد جاهزة لشراء منزل ". وتضيف: "لم أعش في بيتي قط". "أنا وأبي نعمل معًا لتوفير المال على منزلنا."



صورة






لا تنسى الرمز الترويجي HABR الذي يضيف 10٪ للخصم على البانر.








All Articles