تحليل الوظائف الشاغرة باستخدام التجميع

توفر هذه المقالة طريقة لتحليل الوظائف الشاغرة لاستعلام البحث "Python" باستخدام نموذج التجميع Gaussian Mixture Model (GMM). لكل مجموعة محددة ، سيتم عرض المهارات الأكثر طلبًا ونطاق الراتب.



ما هو الغرض من هذه الدراسة؟ أردت أن أعرف:

• ما هي التطبيقات المستخدمة بايثون
• ما هي المعرفة المطلوبة: قواعد البيانات والمكتبات والأطر
• كم عدد المتخصصين المطلوبين في كل مجال
• ما هي الرواتب المقدمة

تحميل البيانات

وظائف تحميلها من موقع hh.ru ، وذلك باستخدام API: dev.hh.ru . بناء على طلب "Python" ، تم تحميل 1994 شواغر (منطقة موسكو) ، والتي تم تقسيمها إلى مجموعات تدريب واختبار ، بنسبة 80٪ و 20٪ . حجم مجموعة التدريب 1595 ، حجم مجموعة الاختبار 399 . سيتم استخدام مجموعة الاختبار فقط في أقسام Top / Antitop Skills وتصنيف الوظائف.

علامات

بناءً على نص الوظائف الشاغرة التي تم تحميلها ، تم تكوين مجموعتين من الكلمات n-grams الأكثر شيوعًا :

• 2 جرام باللغتين السيريلية واللاتينية
• 1 جرام باللاتينية

في الوظائف الشاغرة لتكنولوجيا المعلومات ، عادةً ما تُكتب المهارات والتقنيات الأساسية باللغة الإنجليزية ، لذلك تضمنت المجموعة الثانية كلمات باللغة اللاتينية فقط.



بعد اختيار n-gram ، احتوت المجموعة الأولى على 81 2 جرام والمجموعة الثانية 98 1 جرام:



تقرر تقسيم الوظائف الشاغرة إلى مجموعات حسب المعايير التالية حسب الأولوية:



تم تحديد مجموعة المعايير التي ينتمي إليها n-gram ، والوزن الذي يجب تعيينه لها ، على مستوى حدسي. هنا بضعة أمثلة:

1. للوهلة الأولى ، يمكن أن تُنسب "Docker" إلى المجموعة الثانية من المعايير بوزن من 4 إلى 6. ولكن ذكر "Docker" في الوظيفة الشاغرة على الأرجح يعني أن الوظيفة الشاغرة ستكون لمنصب "DevOps Engineer". لذلك ، سقط "Docker" في المجموعة الأولى وحصل على وزن 7.
   
   
2. «Java» , .. «Java» Java- « Python». «-». , , , «Java» 9.
   
   

n- — .

بالنسبة للحسابات ، تم تحويل كل شاغر إلى متجه بأبعاد 179 (عدد الميزات المحددة) من الأعداد الصحيحة من 0 إلى 9 ، حيث يعني 0 أن i-th n-gram غائب في الشاغر ، والأرقام من 1 إلى 9 تعني وجود i-th n - غرام ووزنه. علاوة على ذلك في النص ، تُفهم النقطة على أنها شاغر يمثلها هذا المتجه.

مثال:

لنفترض أن قائمة n-grams تحتوي على ثلاث قيم فقط:

لا.	ن	ن غرام	وزن	الشواغر
1	2	في بيثون	ثمانية	258
2	2	فهم المبادئ	ثمانية	221
3	1	sql	خمسة	490

ثم لوظيفة شاغرة مع النص.



المتطلبات:

• 3+ سنوات من الخبرة في تطوير الثعبان .
• معرفة جيدة بـ SQL

المتجه يساوي [8 ، 0 ، 5].

المقاييس

للعمل مع البيانات ، يجب أن تفهمها. في حالتنا ، أود أن أرى ما إذا كانت هناك أية مجموعات من النقاط ، والتي سنعتبرها مجموعات. لهذا ، استخدمت خوارزمية t-SNE لترجمة جميع المتجهات إلى مساحة ثنائية الأبعاد. 



يتمثل جوهر الطريقة في تقليل أبعاد البيانات ، مع الحفاظ على نسب المسافات بين نقاط المجموعة قدر الإمكان. من الصعب جدًا فهم كيفية عمل t-SNE من الصيغ. لكني أحببت أحد الأمثلة الموجودة في مكان ما على الإنترنت: دعنا نقول أن لدينا كرات في مساحة ثلاثية الأبعاد. نقوم بتوصيل كل كرة بجميع الكرات الأخرى بواسطة نوابض غير مرئية لا تتقاطع بأي شكل من الأشكال ولا تتداخل مع بعضها البعض عند العبور. تعمل الينابيع في اتجاهين ، أي إنهم يقاومون المسافة والاقتراب من الكرات لبعضهم البعض. النظام في حالة مستقرة ، والكرات ثابتة. إذا أخذنا إحدى الكرات وسحبناها إلى الوراء ، ثم حررناها ، فستعود إلى حالتها الأصلية بسبب قوة الينابيع. بعد ذلك ، نأخذ لوحين كبيرين ، ونضغط الكرات في طبقة رقيقة ،مع عدم التدخل في الكرات للتحرك في المستوى بين الصفيحتين. تبدأ قوى الينابيع في العمل ، وتتحرك الكرات وتتوقف في النهاية عندما تصبح قوى جميع الينابيع متوازنة. سوف تعمل الينابيع بحيث تظل الكرات القريبة من بعضها البعض قريبة ومسطحة نسبيًا. أيضًا مع الكرات التي تمت إزالتها - ستتم إزالتها من بعضها البعض. بمساعدة الينابيع والألواح ، قمنا بتحويل الفضاء ثلاثي الأبعاد إلى ثنائي الأبعاد ، مع الحفاظ على المسافة بين النقاط بشكل ما!أيضًا مع الكرات التي تمت إزالتها - ستتم إزالتها من بعضها البعض. بمساعدة الينابيع والألواح ، قمنا بتحويل الفضاء ثلاثي الأبعاد إلى ثنائي الأبعاد ، مع الحفاظ على المسافة بين النقاط بشكل ما!أيضًا مع الكرات التي تمت إزالتها - ستتم إزالتها من بعضها البعض. بمساعدة الينابيع والألواح ، قمنا بتحويل الفضاء ثلاثي الأبعاد إلى ثنائي الأبعاد ، مع الحفاظ على المسافة بين النقاط بشكل ما!



تم استخدام خوارزمية t-SNE بواسطتي فقط لتصور مجموعة من النقاط. ساعد في اختيار مقياس ، وكذلك تحديد أوزان الميزات.



إذا استخدمنا المقياس الإقليدي الذي نستخدمه في حياتنا اليومية ، فسيبدو موقع الوظائف الشاغرة كما يلي:





يوضح الشكل أن معظم النقاط تتركز في المركز ، وهناك فروع صغيرة على الجانبين. باستخدام هذا النهج ، لن ينتج عن خوارزميات التجميع التي تستخدم المسافات بين النقاط أي شيء جيد.



هناك العديد من المقاييس (طرق تحديد المسافة بين نقطتين) التي ستعمل بشكل جيد على البيانات التي تستكشفها. اخترت مسافة Jaccard كمقياس ، مع مراعاة أوزان n-grams. من السهل فهم مقياس Jaccard ، ولكنه يعمل جيدًا لحل المشكلة قيد الدراسة.

:

1 n-: « python», «sql», «docker»

2 n-: « python», «sql», «php»

:

« python» — 8

«sql» — 5

«docker» — 7

«php» — 9

(n- 1- 2- ):  « python», «sql» = 8 + 5 = 13

( n- 1- 2- ):  « python», «sql», «docker», «php» = 8 + 5 + 7 + 9 = 29

=1 — ( / ) = 1 — (13 / 29) = 0.55

تم حساب مصفوفة المسافات بين جميع أزواج النقاط ، وحجم المصفوفة هو 1595 × 1595. إجمالاً ، 1،271،215 مسافة بين الأزواج الفريدة. تبين أن متوسط ​​المسافة هو 0.96 ، بين 619659 المسافة هي 1 (أي لا يوجد تشابه على الإطلاق). يوضح الرسم البياني التالي أنه بشكل عام ، هناك القليل من التشابه بين الوظائف:





باستخدام مقياس Jaccard ، تبدو مساحتنا الآن كما يلي:





ظهرت أربع مناطق كثافة مميزة ، ومجموعتان صغيرتان منخفضتا الكثافة. على الأقل هكذا ترى عيني!

تجمع

تم اختيار نموذج الخليط الغاوسي (GMM) كخوارزمية التجميع . تستقبل الخوارزمية البيانات في شكل متجهات كمدخلات ، والمعلمة n_components هي عدد المجموعات التي يجب تقسيم المجموعة إليها. يمكنك أن ترى كيف تعمل الخوارزمية هنا (باللغة الإنجليزية). لقد استخدمت تنفيذ GMM جاهزًا من مكتبة scikit- Learn : sklearn.mixture.GaussianMixture .



لاحظ أن GMM لا تستخدم مقياسًا ، ولكنها تفصل البيانات فقط من خلال مجموعة من الميزات وأوزانها. في المقالة ، يتم استخدام مسافة Jaccard لتصور البيانات ، وحساب انضغاط الكتل (أخذت متوسط ​​المسافة بين نقاط الكتلة للضغط) ، وتحديدالنقطة المركزية للمجموعة (شاغر نموذجي) - النقطة ذات أصغر متوسط ​​مسافة إلى نقاط أخرى من الكتلة. تستخدم العديد من خوارزميات التجميع بالضبط المسافة بين النقاط. سيتحدث قسم الطرق الأخرى عن الأنواع الأخرى من المجموعات المستندة إلى المقاييس وتعطي نتائج جيدة أيضًا.



في القسم السابق ، تم تحديد أنه سيكون هناك على الأرجح ست مجموعات. هكذا تبدو نتائج التجميع مع n_components = 6:







في الشكل مع إخراج المجموعات بشكل منفصل ، يتم ترتيب المجموعات بترتيب تنازلي لعدد النقاط من اليسار إلى اليمين ، من أعلى إلى أسفل: المجموعة 4 هي الأكبر ، المجموعة 5 هي الأصغر. يشار إلى انضغاط كل مجموعة بين قوسين.



في المظهر ، تبين أن التجميع لم يكن جيدًا جدًا ، حتى لو اعتبرنا أن خوارزمية t-SNE ليست مثالية. عند تحليل المجموعات ، لم تكن النتيجة مشجعة أيضًا.



للعثور على العدد الأمثل للمجموعات n_components ، سنستخدم معايير AIC و BIC ، والتي يمكنك قراءتها هنا . تم بناء حساب هذه المعايير في طريقة sklearn.mixture.GaussianMixture . هكذا يبدو الرسم البياني للمعايير:





عندما يكون n_components = 12 ، يكون لمعيار BIC أدنى قيمة (أفضل) ، يكون لمعيار AIC أيضًا قيمة قريبة من الحد الأدنى (الحد الأدنى عندما n_components = 23). دعونا نقسم الوظائف الشاغرة إلى 12 مجموعة:







أصبحت المجموعات الآن أكثر إحكاما ، سواء في المظهر أو من الناحية العددية. أثناء التحليل اليدوي ، تم تقسيم الوظائف الشاغرة إلى مجموعات مميزة لفهم الشخص. يوضح الشكل أسماء المجموعات. تم وضع علامة على المجموعات المرقمة 11 و 4 على أنها <المهملات 2>:

1. في المجموعة 11 ، جميع الميزات لها نفس الأوزان الإجمالية تقريبًا.
2. المجموعة 4 مخصصة لجافا. ومع ذلك ، هناك عدد قليل من الوظائف الشاغرة لمنصب Java Developer في المجموعة ، وغالبًا ما تكون معرفة Java مطلوبة لأنها "ستكون ميزة إضافية".

عناقيد المجموعات

بعد إزالة مجموعتين غير إعلاميتين مرقمتين 11 و 4 ، تكون النتيجة 10 مجموعات:





لكل مجموعة ، يوجد جدول ميزات و 2 جرام توجد غالبًا في الأماكن الشاغرة في المجموعة.



مفتاح الرسم التوضيحي:



S - نسبة الوظائف الشاغرة التي توجد فيها السمة ، مضروبة بوزن السمة

٪ - النسبة المئوية للوظائف الشاغرة التي توجد فيها السمة / 2 جرامًا

نموذجيًا للمجموعة الشاغرة - شاغر ، مع أصغر متوسط ​​مسافة إلى نقاط أخرى من المجموعة

محلل بيانات

عدد الوظائف: 299 وظيفة



نموذجية: 35805.914

مطور C ++

عدد الوظائف: 139 وظيفة

نموذجية: 39955360

لينكس / مهندس DevOps

عدد الوظائف: 126 وظيفة

نموذجية: 39.533.926

مطور بايثون

عدد فرص العمل المتاحة: 104 وظيفة

نموذجية: 39.705.484

عالم البيانات

عدد الوظائف: 98 وظيفة

نموذجية: 3871218

مطور الواجهة الأمامية

عدد الوظائف: 97 وظيفة

نموذجية: 39،681،044

مطور الواجهة الخلفية

عدد الوظائف: 93 وظيفة

نموذجية: 40226808

مهندس DevOps

عدد الوظائف: 78 وظيفة

نموذجية: 39634258

مهندس بيانات

عدد الوظائف: 77 وظيفة

نموذجية: 40.008757

مهندس تأكيد جودة

عدد الوظائف: 56 وظيفة

نموذجية: 39630489

الرواتب

تم تحديد الرواتب فقط في 261 (22٪) وظيفة شاغرة من أصل 1167 في المجموعات.



عند احتساب الرواتب:

1. إذا تم تحديد النطاق "من ... إلى ..." ، فسيتم استخدام متوسط ​​القيمة
2. إذا تمت الإشارة إلى "من ..." أو "إلى ..." فقط ، فسيتم أخذ هذه القيمة
3. الحسابات المستخدمة (أو أعطيت) الراتب بعد الضرائب (صافي)

على المخطط:

1. يتم ترتيب المجموعات بترتيب تنازلي لمتوسط ​​الراتب
2. شريط عمودي في المربع - متوسط
3. نطاق الصندوق [Q1، Q3] ، حيث Q1 (25٪) و Q3 (75٪) هي نسب مئوية. أولئك. 50٪ من الرواتب تدخل الصندوق
4. يتضمن "الشارب" الرواتب من النطاق [Q1 - 1.5 * IQR، Q3 + 1.5 * IQR] ، حيث IQR = Q3 - Q1 - النطاق الربيعي
5. نقاط فردية - شذوذ لم يقع في الشارب. (هناك حالات شاذة غير مدرجة في الرسم التخطيطي)

مهارات أعلى / أنتيتوب

تم إنشاء المخططات لجميع الوظائف الشاغرة التي تم تحميلها عام 1994. تم تحديد الرواتب في 443 (22٪) وظيفة شاغرة. لحساب كل ميزة ، تم تحديد الوظائف الشاغرة حيث توجد هذه الميزة ، وعلى أساسها تم حساب متوسط ​​الراتب.

تصنيف الوظائف

يمكن جعل التجميع أسهل بكثير دون اللجوء إلى نماذج رياضية معقدة: لتجميع المسميات الوظيفية العليا وتقسيمها إلى مجموعات. بعد ذلك ، قم بتحليل كل مجموعة لمعرفة أعلى n-grams ومتوسط ​​الرواتب. ليست هناك حاجة لإبراز الميزات وتعيين أوزان لها.



ستعمل هذه الطريقة بشكل جيد (إلى حد ما) مع استعلام "Python". ولكن لطلب "1C مبرمج" هذا النهج لن يعمل ، لأن بالنسبة لمبرمجي 1C ، نادرًا ما يشار إلى تكوينات 1C أو المناطق المطبقة في أسماء الوظائف الشاغرة. وهناك العديد من المجالات التي يتم فيها استخدام 1C: المحاسبة ، وحساب الرواتب ، وحساب الضرائب ، وحساب التكلفة في مؤسسات التصنيع ، ومحاسبة المستودعات ، ووضع الميزانية ، وأنظمة تخطيط موارد المؤسسات ، وتجارة التجزئة ، والمحاسبة الإدارية ، إلخ.



بنفسي ، أرى مهمتين لتحليل الوظائف الشاغرة:

1. افهم أين يتم استخدام لغة البرمجة التي أعرف القليل عنها (كما في هذه المقالة).
2. تصفية الوظائف المنشورة الجديدة.

التجميع مناسب لحل المشكلة الأولى ، لحل المشكلة الثانية - المصنفات المختلفة ، الغابات العشوائية ، أشجار القرار ، الشبكات العصبية. ومع ذلك ، أردت تقييم مدى ملاءمة النموذج المختار لمشكلة تصنيف الوظائف.



إذا استخدمت طريقة التنبؤ () المضمنة في sklearn.mixture.GaussianMixture ، فلن يحدث شيء جيد. وهو ينسب معظم الوظائف الشاغرة إلى مجموعات كبيرة ، واثنان من المجموعات الثلاث الأولى غير مفيدة. لقد استخدمت نهجًا مختلفًا: 

1. نأخذ الوظيفة الشاغرة التي نريد تصنيفها. نحن نوجهها ونحصل على نقطة في فضائنا.
2. نحسب المسافة من هذه النقطة إلى جميع المجموعات. تحت المسافة بين نقطة ومجموعة ، أخذت متوسط ​​المسافة من هذه النقطة إلى جميع النقاط في العنقود.
3. المجموعة ذات أصغر مسافة هي الفئة المتوقعة للوظيفة الشاغرة المحددة. تشير المسافة إلى الكتلة إلى موثوقية مثل هذا التنبؤ.
4. لزيادة دقة النموذج ، اخترت 0.87 كمسافة عتبة ، أي إذا كانت المسافة إلى أقرب كتلة أكبر من 0.87 ، فإن النموذج لا يصنف الشاغر.

لتقييم النموذج ، تم اختيار 30 وظيفة شاغرة بشكل عشوائي من مجموعة الاختبار. في عمود الحكم:



لا ينطبق: لم يصنف النموذج الوظيفة (المسافة> 0.87)

+: التصنيف الصحيح

-: التصنيف غير صحيح  



المجموع: 12 وظيفة شاغرة ليس لها نتيجة ، 2 شاغرة - تصنيف خاطئ ، 16 وظيفة شاغرة - التصنيف الصحيح. اكتمال النموذج - 60٪ ، دقة النموذج - 89٪.

جوانب ضعيفة

المشكلة الأولى - لنأخذ شاغرين:

الوظيفة الشاغرة 1 -

متطلبات "Lead C ++ Programmer" ":

• أكثر من 5 سنوات من الخبرة في تطوير لغة ++ C.
• ستكون معرفة بايثون ميزة إضافية ".

الوظيفة الشاغرة 2 -

متطلبات "Lead Python Programmer" "":

• أكثر من 5 سنوات من الخبرة في تطوير لغة Python.
• ستكون معرفة C ++ إضافة إضافية "

من حيث النموذج ، هذه الشواغر متطابقة. حاولت تعديل أوزان المعالم بترتيب حدوثها في النص. هذا لم يؤد إلى أي شيء جيد.



المشكلة الثانية هي أن GMM تجمع كل النقاط في مجموعة ، مثل العديد من خوارزميات التجميع. المجموعات غير الإعلامية ليست مشكلة في حد ذاتها. لكن المجموعات المفيدة تحتوي أيضًا على القيم المتطرفة. ومع ذلك ، يمكن حل ذلك بسهولة عن طريق مسح المجموعات ، على سبيل المثال ، عن طريق إزالة أكثر النقاط غير النمطية التي لها أكبر متوسط ​​مسافة لبقية نقاط المجموعة.

أساليب أخرى

توضح صفحة المقارنة العنقودية بشكل جيد خوارزميات التجميع المختلفة. GMM هي الوحيدة التي أعطت نتائج جيدة.

بقية الخوارزميات إما أنها لم تنجح أو أعطت نتائج متواضعة للغاية.



من بين تلك التي نفذتها ، كانت النتائج الجيدة في حالتين:

1. تم اختيار النقاط ذات الكثافة العالية في حي معين ، يقع على مسافة بعيدة عن بعضها البعض. أصبحت النقاط مراكز التجمعات. بعد ذلك ، على أساس المراكز ، بدأت عملية تشكيل الكتلة - الانضمام إلى النقاط المجاورة.
2. التجميع التراكمي هو دمج تكراري للنقاط والعناقيد. تقدم مكتبة scikit-Learn هذا النوع من التجميع ، لكنها لا تعمل بشكل جيد. في التطبيق الخاص بي ، قمت بتغيير مصفوفة الصلة بعد كل تكرار للدمج. توقفت العملية عند الوصول إلى بعض المعلمات الحدودية - في الواقع ، لا تساعد مخططات التشعب في فهم عملية الدمج إذا تم تجميع 1500 عنصر.

خاتمة

أعطاني البحث الذي قمت به إجابات لجميع الأسئلة في بداية المقال. حصلت على خبرة عملية في التجميع أثناء تنفيذ أشكال مختلفة من الخوارزميات المعروفة. آمل حقًا أن تحفز المقالة القارئ على إجراء بحثه التحليلي ، وستساعد بطريقة ما في هذا الدرس المثير.