Clever Geek Handbook

تعريف التعليقات السامة باللغة الروسية



اليوم ، أصبحت الشبكات الاجتماعية واحدة من منصات الاتصال الرئيسية سواء عبر الإنترنت أو في الحياة الواقعية. يمكن أن يكون لحرية التعبير عن وجهات نظر مختلفة ، بما في ذلك التعليقات السامة والعدوانية والمسيئة ، عواقب سلبية طويلة المدى على آراء الناس والتماسك الاجتماعي. لذلك فإن من أهم مهام المجتمع الحديث تطوير وسائل الكشف التلقائي عن المعلومات السامة على الإنترنت لتقليل النتائج السلبية.



توضح هذه المقالة كيفية حل هذه المشكلة بالنسبة للغة الروسية. كمصدر للبيانات ، استخدمنا مجموعة بيانات منشورة بشكل مجهول على Kaggle ، بالإضافة إلى التحقق من جودة التعليق التوضيحي. لإنشاء نموذج تصنيف ، قمنا بضبط نسختين من برنامج التشفير الشامل متعدد اللغات ، تمثيلات التشفير ثنائية الاتجاه من المحولات و ruBERT. أظهر النموذج المخصص ruBERT أن F 1 = 92.20٪ ، كانت أفضل نتيجة تصنيف. لقد جعلنا النماذج المدربة وأمثلة الكود متاحة للجمهور.



1 المقدمة



اليوم ، تم حل مشكلة تحديد التعليقات السامة جيدًا باستخدام تقنيات التعلم العميق المتقدمة [1] ، [35]. على الرغم من أن بعض الأعمال تبحث بشكل مباشر في موضوع الكشف عن الإهانات والكلام السام والكراهية باللغة الروسية [2] ، [8] ، [17] ، إلا أن هناك مجموعة بيانات واحدة متاحة للجمهور تحتوي على تعليقات سامة باللغة الروسية [5]. تم نشره على Kaggle دون أي تفسير لعملية التعليق التوضيحي ، لذلك قد لا يمكن الاعتماد عليه للأغراض الأكاديمية والعملية بدون دراسة إضافية متعمقة.



هذه المقالة مخصصة للكشف التلقائي عن التعليقات السامة باللغة الروسية. بالنسبة لهذه المهمة ، قمنا بفحص التعليق التوضيحي لمجموعة بيانات التعليقات السامة للغة الروسية [5]. بعد ذلك ، تم إنشاء نموذج تصنيف بناءً على الضبط الدقيق للإصدارات متعددة اللغات المُعدة مسبقًا من مُشفّر الجمل العالمي متعدد اللغات (M-USE) [48] ، تمثيلات التشفير ثنائي الاتجاه من المحولات (M-BERT) [13] و ruBERT [22]. أظهر نموذج ruBERT-Toxic الأكثر دقة أن F 1 = 92،20٪ في مشكلة التصنيف الثنائي للتعليقات السامة. يمكن تنزيل نماذج M-BERT و M-USE الناتجة من جيثب.



هيكل من هذه المادة على النحو التالي. في القسم 2نصف بإيجاز الأعمال الأخرى حول هذا الموضوع ، بالإضافة إلى مجموعات البيانات المتوفرة باللغة الروسية. في القسم 3 ، نقدم نظرة عامة على مجموعة بيانات التعليقات السامة للغة الروسية ووصف عملية التحقق من التعليق التوضيحي. في القسم 4 ، نصف صقل النماذج اللغوية لمهمة تصنيف النص. في القسم 5 ، نصف تجربة التصنيف. أخيرًا ، لنتحدث عن أداء نظامنا واتجاهات البحث المستقبلي.



2. أعمال أخرى حول الموضوع



تم القيام بعمل مكثف للكشف عن التعليقات السامة على مصادر البيانات المختلفة. على سبيل المثال ، استخدم برابوو وزملاؤه تصنيف Naive Bayesian Classification (NB) ، و Support Vector Machines (SVM) ، ومصنف Ensemble Decision Trees (RFDT) للكشف عن لغة الكراهية والمسيئة على موقع تويتر الإندونيسي [34]. أظهرت النتائج التجريبية دقة قدرها 68.43٪ للمنهج الهرمي مع علامات أحاديات القاموس ونموذج SVM. في عمل فريق بقيادة Founta [15] ، تم اقتراح شبكة عصبية للتعلم العميق تعتمد على GRU مع تطعيمات GloVe سابقة التدريب لتصنيف النصوص السامة. أظهر النموذج دقة عالية في خمس مجموعات بيانات ، مع AUC تتراوح من 92٪ إلى 98٪.



يتم تخصيص المزيد والمزيد من ورش العمل والمسابقات للكشف عن التعليقات السامة والكراهية والمهينة. على سبيل المثال ، HatEval و OffensEval في SemEval-2019 ؛ HASOC في FIRE-2019 ؛ مهمة مشتركة حول تحديد اللغة الهجومية في GermEval-2019 و GermEval-2018 ؛ TRAC في معرض COLING-2018. تتراوح النماذج المستخدمة في المشكلات من التعلم الآلي التقليدي (مثل SVM والانحدار اللوجستي) إلى التعلم العميق (RNN و LSTM و GRU و CNN و CapsNet ، بما في ذلك آلية الانتباه [45] ، [49] ، بالإضافة إلى النماذج المتقدمة مثل ELMo [31] ، بيرت [13] واستخدام [9] ، [48]). عدد كبير من الفرق التي حققت نتائج جيدة [18] ، [24] ، [27] ، [28] ، [30] ، [36] ، [38] استخدمت الزخارف من نماذج اللغة المدربة مسبقًا.نظرًا لأن وجهات النظر من النماذج سابقة التدريب تؤدي أداءً جيدًا في التصنيف ، فقد تم استخدامها على نطاق واسع في الدراسات اللاحقة. على سبيل المثال ، أجرى باحثون من جامعة لورين تصنيفًا ثنائيًا متعدد الطبقات لرسائل تويتر باستخدام طريقتين: تدريب مصنف DNN باستخدام حشوات المفردات المحددة مسبقًا ونموذج BERT المضبوط مسبقًا [14]. أظهر النهج الثاني نتائج أفضل بشكل ملحوظ مقارنةً بالشبكات العصبية CNN والشبكات العصبية ثنائية الاتجاه LSTM على أساس تضمين FastText.من خلال تدريب مصنف DNN مع حفلات زفاف مدربة مسبقًا على المفردات ، ونموذج BERT معد بعناية مسبقًا [14]. أظهر النهج الثاني نتائج أفضل بشكل ملحوظ مقارنةً بالشبكات العصبية CNN والشبكات العصبية ثنائية الاتجاه LSTM استنادًا إلى تضمين FastText.من خلال تدريب مصنف DNN على حفلات زفاف مدربة مسبقًا على المفردات ، ونموذج BERT معد بعناية مسبقًا [14]. أظهر الأسلوب الثاني نتائج أفضل بشكل ملحوظ مقارنةً بالشبكات العصبية ثنائية الاتجاه CNN و LSTM على أساس تضمين FastText.



على الرغم من تخصيص عدد كبير من الدراسات [7] ، [33] ، [41] لدراسة السلوك السام والعدواني في الشبكات الاجتماعية باللغة الروسية ، إلا أنه لم يتم إيلاء الكثير من الاهتمام لتصنيفها التلقائي. لتحديد العدوانية في النصوص باللغتين الإنجليزية والروسية ، استخدم جوردييف الشبكات العصبية التلافيفية ومصنف الغابة العشوائي (RFC) [17]. تحتوي مجموعة الرسائل التي تم التعليق عليها على أنها عدوانية على حوالي 1000 رسالة باللغة الروسية ونفسها تقريبًا باللغة الإنجليزية ، ولكنها غير متاحة للجمهور. أظهر نموذج CNN الذي تم تدريبه دقة التصنيف الثنائي للنصوص الروسية بنسبة 66.68٪. بناءً على هذه النتائج ، خلص المؤلفون إلى أن الشبكات العصبية التلافيفية وأساليب التعلم العميق واعدة أكثر في تحديد النصوص العدوانية.اقترح Andruziak et al. نهجًا احتماليًا غير خاضع للرقابة مع مفردات المصدر لتصنيف التعليقات المسيئة على YouTube المكتوبة باللغتين الأوكرانية والروسية [2]. نشر المؤلفون مجموعة بيانات تم تصنيفها يدويًا من 2000 تعليق ، لكنها تحتوي على نصوص روسية وأوكرانية ، لذا لا يمكن استخدامها مباشرة للبحث عن نص باللغة الروسية.



ركزت العديد من الدراسات الحديثة على التحديد التلقائي للمواقف تجاه المهاجرين والمجموعات العرقية في الشبكات الاجتماعية الناطقة بالروسية ، بما في ذلك تحديد الهجمات على أساس الهوية. درس Bodrunova مع المؤلفين المشاركين 363000 منشور باللغة الروسية في LiveJournal حول موضوع المواقف تجاه المهاجرين من جمهوريات ما بعد الاتحاد السوفيتي مقارنة بالدول الأخرى [8]. اتضح أنه في المدونات باللغة الروسية ، لم يتسبب المهاجرون في نقاش كبير ولم يتعرضوا لأسوأ معاملة. في الوقت نفسه ، يتم التعامل مع ممثلي جنسيات شمال القوقاز وآسيا الوسطى بطرق مختلفة تمامًا. اكتشفت مجموعة من الباحثين بقيادة بيسودنوف أن الروس هم تقليديًا أكثر عداءً لأناس من القوقاز وآسيا الوسطى. في الوقت نفسه ، يتم قبول الأوكرانيين والمولدوفيين عمومًا كجيران محتملين [6].ووفقًا لنتائج المجموعة الجماعية بقيادة Koltsova ، فإن الموقف تجاه ممثلي جنسيات آسيا الوسطى والأوكرانيين هو الأكثر سلبية [19]. على الرغم من أن بعض الأبحاث الأكاديمية قد ركزت على تحديد الخطاب السام والمسيء والمثير للكراهية ، لم يقم أي من المؤلفين بإتاحة مجموعات البيانات باللغة الروسية للجمهور. بقدر ما نعلم ، فإن مجموعة بيانات التعليقات السامة للغة الروسية [5] هي المجموعة الوحيدة من التعليقات السامة باللغة الروسية في المجال العام. ومع ذلك ، تم نشره على Kaggle دون وصف عملية الإنشاء والتعليق التوضيحي ، لذلك بدون دراسة تفصيلية لا يوصى باستخدامه في المشاريع الأكاديمية والعملية.في حين ركزت بعض الأبحاث الأكاديمية على تحديد الخطاب السام والمسيء والكراهية ، لم يقم أي من المؤلفين بإتاحة مجموعات البيانات باللغة الروسية للجمهور. بقدر ما نعلم ، فإن مجموعة بيانات التعليقات السامة للغة الروسية [5] هي المجموعة الوحيدة من التعليقات السامة باللغة الروسية في المجال العام. ومع ذلك ، تم نشره على Kaggle دون وصف عملية الإنشاء والتعليق التوضيحي ، لذلك بدون دراسة تفصيلية لا يوصى باستخدامه في المشاريع الأكاديمية والعملية.على الرغم من أن بعض الأبحاث الأكاديمية قد ركزت على تحديد الخطاب السام والمسيء والمثير للكراهية ، لم يقم أي من المؤلفين بإتاحة مجموعات البيانات باللغة الروسية للجمهور. بقدر ما نعلم ، فإن مجموعة بيانات التعليقات السامة للغة الروسية [5] هي المجموعة الوحيدة من التعليقات السامة باللغة الروسية في المجال العام. ومع ذلك ، تم نشره على Kaggle دون وصف عملية الإنشاء والتعليق التوضيحي ، لذلك بدون دراسة تفصيلية لا يوصى باستخدامه في المشاريع الأكاديمية والعملية.مجموعة بيانات التعليقات السامة للغة الروسية [5] هي المجموعة الوحيدة من التعليقات السامة باللغة الروسية في المجال العام. ومع ذلك ، تم نشره على Kaggle دون وصف عملية الإنشاء والتعليق التوضيحي ، لذلك بدون دراسة تفصيلية لا يوصى باستخدامه في المشاريع الأكاديمية والعملية.مجموعة بيانات التعليقات السامة للغة الروسية [5] هي المجموعة الوحيدة من التعليقات السامة باللغة الروسية في المجال العام. ومع ذلك ، تم نشره على Kaggle دون وصف عملية الإنشاء والتعليق التوضيحي ، لذلك بدون دراسة تفصيلية لا يوصى باستخدامه في المشاريع الأكاديمية والعملية.



نظرًا لوجود القليل من الأبحاث المكرسة لتعريف التعليقات السامة باللغة الروسية ، فقد قررنا تقييم عمل نماذج التعلم العميق على مجموعة بيانات التعليقات السامة للغة الروسية [5]. لسنا على علم بأي دراسات تصنيف تستند إلى مصدر البيانات هذا. يعد نموذجا Multilingual BERT و Multilingual USE من بين أكثر النماذج انتشارًا ونجاحًا في مشاريع البحث الحديثة. وفقط هم يدعمون اللغة الروسية رسميًا. لقد اخترنا استخدام الضبط الدقيق كنهج لنقل التعلم لأنه أعطى في الدراسات الحديثة أفضل نتائج التصنيف [13] ، [22] ، [43] ، [48].



3. مجموعة البيانات مع التعليقات السامة



تعيين اللغة الروسية التعليقات السامة مجموعة البيانات [5] عبارة عن مجموعة من التعليقات المشروحة من موقعي Dvach و Peekaboo . تم نشره على Kaggle في عام 2019 ويحتوي على 14،412 تعليقًا ، منها 4826 مصنفة بأنها سامة و 9586 تعليقًا غير سامة. يبلغ متوسط ​​طول التعليق 175 حرفًا ، والحد الأدنى هو 21 ، والحد الأقصى هو 7 403.



للتحقق من جودة التعليق التوضيحي ، قمنا يدويًا بتعليق بعض التعليقات ومقارنتها بالعلامات الأصلية باستخدام اتفاقية التعليقات التوضيحية. قررنا اعتبار التعليقات التوضيحية الحالية صحيحة عند الوصول إلى مستوى مهم أو مرتفع من اتفاقية المعلقين.



أولاً ، قمنا بوضع علامات يدويًا على 3000 تعليق وقارننا تسميات الفئات الناتجة مع التسميات الأصلية. تمت كتابة التعليقات التوضيحية من قبل أعضاء يتحدثون اللغة الروسية في منصة التعهيد الجماعي Yandex.Toloka ، والتي تم استخدامها بالفعل في العديد من الدراسات الأكاديمية للنصوص باللغة الروسية [10] ، [29] ، [32] ، [44]. كدليل للترميز ، استخدمنا تعليمات التعرف على السمية مع سمات إضافية تم استخدامها في تحدي تصنيف التعليقات السامة من Jigsaw. طُلب من المعلقين تحديد السمية في النصوص ، والتي يجب تحديد مستواها لكل تعليق. لتحسين دقة الترميز والحد من إمكانية الخداع ، استخدمنا التقنية التالية:



  • لقد قمنا بتعيين المعلقين على مستوى بناءً على إجاباتهم للتحكم في المهام وحظرنا أولئك الذين قدموا إجابات غير صحيحة.
  • وصول مقيد إلى المهام لأولئك الذين يستجيبون بسرعة كبيرة.
  • الوصول المقيد إلى مهام الموضوعات ، لا يُدخل رمز التحقق الصحيح عدة مرات على التوالي.


تم وضع تعليقات توضيحية على كل تعليق من خلال 3-8 شروح باستخدام تقنية التداخل الديناميكي . تم تجميع النتائج باستخدام طريقة Dawid-Skene [12] بناءً على توصيات Yandex.Toloka. أظهرت التعليقات التوضيحية مستوى عالٍ من الاتفاق بين المعلقين ، وكان معامل ألفا Kripppendorf 0.81. وكان معامل كابا لكوهين بين التسميات الأصلية والمُجمعة 0.68 ، وهو ما يتوافق مع مستوى هام من اتفاق بين التعليقات التوضيحية [11]. لذلك ، قررنا اعتبار ترميز مجموعة البيانات صحيحًا ، لا سيما بالنظر إلى الاختلافات المحتملة في إرشادات التعليقات التوضيحية.



4. نماذج التعلم الآلي



4.1 نهج خط الأساس



بالنسبة للنهج الأساسية ، اتخذنا نهجًا أساسيًا للتعلم الآلي ونهجًا حديثًا للشبكة العصبية. في كلتا الحالتين ، قمنا ببعض التحضير الأولي: لقد استبدلنا عنوان URL والألقاب بكلمات رئيسية ، وأزلنا علامات الترقيم واستبدلنا الأحرف الكبيرة بأخرى صغيرة.



أولاً ، طبقنا نموذج Multinomial Naive Bayes (MNB) ، والذي كان أداؤه جيدًا في مشاكل تصنيف النص [16] ، [40]. لإنشاء النموذج ، أخذنا توجيه حقيبة الكلمات و TF-IDF. كان النموذج الثاني عبارة عن شبكة عصبية للذاكرة طويلة المدى ثنائية الاتجاه (ذاكرة ثنائية الاتجاه طويلة المدى (BiLSTM)). بالنسبة لطبقة التضمين ، قمنا مسبقًا بتدريب زخارف Word2Vec ( خافت= 300) [25] استنادًا إلى مجموعة رسائل Twitter باللغة الروسية من RuTweetCorp [37]. وعلى رأس حفلات الزفاف Word2Vec ، أضفنا طبقتين LSTM ثنائية الاتجاه. ثم أضفنا طبقة مخفية متصلة بالكامل وطبقة إخراج سينية. لتقليل فرط التخصيص ، أضفنا طبقات تنظيم مع ضجيج غاوسي وطبقات استبعاد (Dropout) إلى الشبكة العصبية. استخدمنا مُحسِّن آدم بمعدل تعلم أولي 0.001 وانتروبيا ثنائية فئوية كوظيفة خسارة. تم تدريب النموذج على حفلات الزفاف الثابتة لمدة 10 فترات. حاولنا فتح حفلات الزفاف في عصور مختلفة مع تقليل معدل التعلم ، لكن النتائج كانت أسوأ. ربما كان السبب هو حجم مجموعة التدريب [4].



4.2 نموذج بيرت



يتوفر الآن نسختان من نموذج BERT BASE متعدد اللغات رسميًا الآن ، ولكن يوصى رسميًا فقط بالإصدار Cased. يأخذ BERT BASE تسلسلاً لا يزيد عن 512 رمزًا ويعيد تمثيله. يتم تنفيذ الترميز باستخدام WordPiece [46] مع تسوية أولية للنص وفصل علامات الترقيم. قام باحثون من MIPT بتدريب BERT BASE Cased ونشروا ruBERT - نموذج للغة الروسية [22]. استخدمنا كلا النموذجين - قاعدة BERT متعددة اللغاتCased و ruBERT ، التي تحتوي على 12 كتلة تحويل متسلسلة ، لها حجم مخفي يبلغ 768 ، وتحتوي على 12 رأس اهتمام ذاتي و 110 مليون معلمة. تم تنفيذ مرحلة الضبط الدقيق باستخدام المعلمات الموصى بها من [43] والمستودع الرسمي : ثلاث فترات تعلم ، 10٪ مراحل إحماء ، أقصى طول للتسلسل 128 ، حجم الحزمة 32 ، معدل التعلم 5e-5.



4.3 نموذج ميوز



متعدد اللغات USE Trans يأخذ تسلسلاً لا يزيد عن 100 رمز كمدخل ، والاستخدام متعدد اللغات CNN يأخذ تسلسل لا يزيد عن 256 رمزًا. يتم استخدام الترميز SentencePiece [20] لجميع اللغات المدعومة. استخدمنا Multilingual USE Trans المدربين مسبقًا ، والذي يدعم 16 لغة ، بما في ذلك الروسية ، ويحتوي على محول ترميز مع 6 طبقات تحويل ، و 8 كتل رؤوس انتباه ، وله حجم مرشح 2048 ، وحجم مخفي من 512. كما استخدمنا أيضًا استخدام متعدد اللغات مدرب مسبقًا CNN يدعم 16 لغة ، بما في ذلك الروسية ، تحتوي على مشفر CNN مع طبقتين من CNN ، وعرض مرشح (1 ، 2 ، 3 ، 5) ، له حجم مرشح. لكلا النموذجين ، استخدمنا المعلمات الموصى بها معصفحات TensorFlow Hub : 100 عصر تعلم ، حجم الدفعة 32 ، معدل التعلم 3e-4.



5. التجربة



قارنا أساليب نقل البيانات الأساسية والتعلم:



  • مصنف متعدد الحدود Naive Bayes ؛
  • شبكة عصبية ذاكرة طويلة المدى ثنائية الاتجاه (BiLSTM) ؛
  • نسخة متعددة اللغات من تمثيلات التشفير ثنائي الاتجاه من المحولات (M-BERT) ؛
  • روبرت.
  • نسختين من Multilingual Universal Sentence Encoder (M-USE).


جودة تصنيف النماذج المدربة على مجموعة الاختبار (20٪) موضحة في الجدول. تجاوزت جميع نماذج اللغة المضبوطة مستويات خط الأساس من حيث الدقة والتذكر والقياس F 1 . أظهرت ruBERT أن F 1 = 92.20٪ ، هذه أفضل نتيجة.



التصنيف الثنائي للتعليقات السامة باللغة الروسية:



النظام ص ر و 1
MNB 87,01 % 81,22 % 83,21 %
BiLSTM 86,56 % 86,65 % 86,59 %
M − BERTBASE − Toxic 91,19 % 91,10 % 91,15 %
ruBert − Toxic 91,91 % 92,51 % 92,20 %
M − USECNN − Toxic 89,69 % 90,14% 89,91 %
M − USETrans − Toxic 90,85 % 91,92 % 91,35 %


6.



في هذه المقالة ، استخدمنا نسختين مضبوطة من برنامج التشفير الشامل متعدد اللغات [48] ، تمثيلات التشفير ثنائي الاتجاه متعدد اللغات من المحولات [13] و ruBERT [22] لتحديد التعليقات السامة باللغة الروسية. أظهرت درجة السمية المضبوطة أن F 1 = 92.20٪ ، أفضل نتيجة تصنيف. يتوفر



طرازا M-BERT و M-USE الناتجان على جيثب.



المصادر الأدبية



قائمة
  1. Aken, B. van et al.: Challenges for toxic comment classification: An in-depth error analysis. In: Proceedings of the 2nd workshop on abusive language online (ALW2). pp. 33–42. Association for Computational Linguistics, Brussels, Belgium (2018).
  2. Andrusyak, B. et al.: Detection of abusive speech for mixed sociolects of russian and ukrainian languages. In: The 12th workshop on recent advances in slavonic natural languages processing, RASLAN 2018, karlova studanka, czech republic, december 7–9, 2018. pp. 77–84 (2018).
  3. Basile, V. et al.: SemEval-2019 task 5: Multilingual detection of hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 54–63. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  4. Baziotis, C. et al.: DataStories at SemEval-2017 task 4: Deep LSTM with attention for message-level and topic-based sentiment analysis. In: Proceedings of the 11th international workshop on semantic evaluation (SemEval-2017). pp. 747–754. Association for Computational Linguistics, Vancouver, Canada (2017).
  5. Belchikov, A.: Russian language toxic comments, https://www.kaggle.com/ blackmoon/russian-language-toxic-comments.
  6. Bessudnov, A., Shcherbak, A.: Ethnic discrimination in multi-ethnic societies: Evidence from russia. European Sociological Review. (2019).
  7. Biryukova, E. V. et al.: READER’S comment in on-line magazine as a genre of internet discourse (by the material of the german and russian languages). Philological Sciences. Issues of Theory and Practice. 12, 1, 79–82 (2018).
  8. Bodrunova, S. S. et al.: Who’s bad? Attitudes toward resettlers from the post-soviet south versus other nations in the russian blogosphere. International Journal of Communication. 11, 23 (2017).
  9. Cer, D. M. et al.: Universal sentence encoder. ArXiv. abs/1803.11175, (2018).
  10. Chernyak, E. et al.: Char-rnn for word stress detection in east slavic languages. CoRR. abs/1906.04082, (2019).
  11. Cohen, J.: A coefficient of agreement for nominal scales. Educational and psychological measurement. 20, 1, 37–46 (1960).
  12. Dawid, A. P., Skene, A. M.: Maximum likelihood estimation of observer errorrates using the em algorithm. Journal of the Royal Statistical Society: Series C (Applied Statistics). 28, 1, 20–28 (1979).
  13. Devlin, J. et al.: BERT: Pre-training of deep bidirectional transformers for language understanding. In: Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 4171–4186. Association for Computational Linguistics, Minneapolis, Minnesota (2019).
  14. d’Sa, A. G. et al.: BERT and fastText embeddings for automatic detection of toxic speech. In: SIIE 2020-information systems and economic intelligence. (2020).
  15. Founta, A. M. et al.: A unified deep learning architecture for abuse detection. In: Proceedings of the 10th acm conference on web science. pp. 105–114. Association for Computing Machinery, New York, NY, USA (2019).
  16. Frank, E., Bouckaert, R.: Naive bayes for text classification with unbalanced classes. In: Fürnkranz, J. et al. (eds.) Knowledge discovery in databases: PKDD 2006. pp. 503–510. Springer Berlin Heidelberg, Berlin, Heidelberg (2006).
  17. Gordeev, D.: Detecting state of aggression in sentences using cnn. In: International conference on speech and computer. pp. 240–245. Springer (2016).
  18. Indurthi, V. et al.: FERMI at SemEval-2019 task 5: Using sentence embeddings to identify hate speech against immigrants and women in twitter. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 70–74. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  19. Koltsova, O. et al.: FINDING and analyzing judgements on ethnicity in the russian-language social media. AoIR Selected Papers of Internet Research. (2017).
  20. Kudo, T., Richardson, J.: SentencePiece: A simple and language independent subword tokenizer and detokenizer for neural text processing. In: Proceedings of the 2018 conference on empirical methods in natural language processing: System demonstrations. pp. 66–71. Association for Computational Linguistics, Brussels, Belgium (2018).
  21. Kumar, R. et al. eds: Proceedings of the first workshop on trolling, aggression and cyberbullying (TRAC-2018). Association for Computational Linguistics, Santa Fe, New Mexico, USA (2018).
  22. Kuratov, Y., Arkhipov, M.: Adaptation of deep bidirectional multilingual transformers for Russian language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 333–340. RSUH, Moscow, Russia (2019).
  23. Lenhart, A. et al.: Online harassment, digital abuse, and cyberstalking in america. Data; Society Research Institute (2016).
  24. Liu, P. et al.: NULI at SemEval-2019 task 6: Transfer learning for offensive language detection using bidirectional transformers. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 87–91. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  25. Mikolov, T. et al.: Distributed representations of words and phrases and their compositionality. In: Proceedings of the 26th international conference on neural information processing systems—volume 2. pp. 3111–3119. Curran Associates Inc., Red Hook, NY, USA (2013).
  26. Mishra, P. et al.: Abusive language detection with graph convolutional networks. In: Proceedings of the 2019 conference of the north american chapter of the association for computational linguistics: Human language technologies, volume 1 (long and short papers). pp. 2145–2150 (2019).
  27. Mishra, S., Mishra, S.: 3Idiots at HASOC 2019: Fine-tuning transformer neural networks for hate speech identification in indo-european languages. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 208–213 (2019).
  28. Nikolov, A., Radivchev, V.: Nikolov-radivchev at SemEval-2019 task 6: Offensive tweet classification with BERT and ensembles. In: Proceedings of the 13th international workshop on semantic evaluation. pp. 691–695. Association for Computational Linguistics, Minneapolis, Minnesota, USA (2019).
  29. Panchenko, A. et al.: RUSSE’2018: A Shared Task on Word Sense Induction for the Russian Language. In: Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». pp. 547–564. RSUH, Moscow, Russia (2018).
  30. Paraschiv, A., Cercel, D.-C.: UPB at germeval-2019 task 2: BERT-based offensive language classification of german tweets. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 396–402 (2019).
  31. Peters, M. et al.: Deep contextualized word representations. In: Proceedings of the 2018 conference of the north American chapter of the association for computational linguistics: Human language technologies, volume 1 (long papers). pp. 2227–2237. Association for Computational Linguistics, New Orleans, Louisiana (2018).
  32. Ponomareva, M. et al.: Automated word stress detection in Russian. In: Proceedings of the first workshop on subword and character level models in NLP. pp. 31–35. Association for Computational Linguistics, Copenhagen, Denmark (2017).
  33. Potapova, R., Komalova, L.: Lexico-semantical indices of «deprivation–aggression» modality correlation in social network discourse. In: International conference on speech and computer. pp. 493–502. Springer (2017).
  34. Prabowo, F. A. et al.: Hierarchical multi-label classification to identify hate speech and abusive language on indonesian twitter. In: 2019 6th international conference on information technology, computer and electrical engineering (icitacee). pp. 1–5 (2019).
  35. Risch, J., Krestel, R.: Toxic comment detection in online discussions. In: Deep learning-based approaches for sentiment analysis. pp. 85–109. Springer (2020).
  36. Risch, J. et al.: HpiDEDIS at germeval 2019: Offensive language identification using a german bert model. In: Preliminary proceedings of the 15th conference on natural language processing (konvens 2019). Erlangen, germany: German society for computational linguistics & language technology. pp. 403–408 (2019).
  37. Rubtsova, Y.: A method for development and analysis of short text corpus for the review classification task. Proceedings of conferences Digital Libraries: Advanced Methods and Technologies, Digital Collections (RCDL’2013). Pp. 269–275 (2013).
  38. Ruiter, D. et al.: LSV-uds at HASOC 2019: The problem of defining hate. In: Working notes of FIRE 2019—forum for information retrieval evaluation, kolkata, india, december 12–15, 2019. pp. 263–270 (2019).
  39. Sambasivan, N. et al.: «They don’t leave us alone anywhere we go»: Gender and digital abuse in south asia. In: Proceedings of the 2019 chi conference on human factors in computing systems. Association for Computing Machinery, New York, NY, USA (2019).
  40. Sang-Bum Kim et al.: Some effective techniques for naive bayes text classification. IEEE Transactions on Knowledge and Data Engineering. 18, 11, 1457–1466 (2006).
  41. Shkapenko, T., Vertelova, I.: Hate speech markers in internet comments to translated articles from polish media. Political Linguistics. 70, 4, Pages 104–111 (2018).
  42. Strus, J. M. et al.: Overview of germeval task 2, 2019 shared task on the identification of offensive language. Presented at the (2019).
  43. Sun, C. et al.: How to fine-tune bert for text classification? In: Sun, M. et al. (eds.) Chinese computational linguistics. pp. 194–206. Springer International Publishing, Cham (2019).
  44. Ustalov, D., Igushkin, S.: Sense inventory alignment using lexical substitutions and crowdsourcing. In: 2016 international fruct conference on intelligence, social media and web (ismw fruct). (2016).
  45. Vaswani, A. et al.: Attention is all you need. In: Proceedings of the 31st international conference on neural information processing systems. pp. 6000–6010. Curran Associates Inc., Red Hook, NY, USA (2017).
  46. Wu, Y. et al.: Google’s neural machine translation system: Bridging the gap between human and machine translation. arXiv preprint arXiv:1609.08144. (2016).
  47. Yang, F. et al.: Exploring deep multimodal fusion of text and photo for hate speech classification. In: Proceedings of the third workshop on abusive language online. pp. 11–18. Association for Computational Linguistics, Florence, Italy (2019).
  48. Yang, Y. et al.: Multilingual universal sentence encoder for semantic retrieval. CoRR. abs/1907.04307, (2019).
  49. Yang, Z. et al.: Hierarchical attention networks for document classification. In: Proceedings of the 2016 conference of the north American chapter of the association for computational linguistics: Human language technologies. pp. 1480–1489. pp. Association for Computational Linguistics, San Diego, California (2016).


More articles:


All Articles