معالجة البيانات

مرحبا! أنا مطور ويب وأهتم بالتعلم الآلي لعدة سنوات حتى الآن. لأنه في متنزه عملي اليومي يجب أن أقوم بحل المشكلات الأقل إثارة للاهتمام بالنسبة لي ، والتي لا تتعلق بالتعلم الآلي ، من وقت لآخر أنسى ما قرأته أو استخدمته. لإنشاء مذكرة لنفسي وتعزيز معرفتي ومشاركتها مع الآخرين ، قررت كتابة هذه السلسلة من المقالات حول التعلم الآلي. سأبدأ بمعالجة البيانات المسبقة.

في هذه المقالة سوف أتحدث عن المشاكل التي تحدث مع البيانات ، وكيفية حلها ، وكذلك عن الطرق الأكثر استخدامًا لإعداد البيانات قبل إدخالها إلى نماذج مختلفة.

القفزات

ضع في اعتبارك مجموعة البيانات التالية. لقد توصلت إليه بصدق ، وسأشير إليه في هذا المقال.

, . . — , . , .

, "" , . , , .

— , - , . , "" "" . , , - - . : , , , .

. , . .

, . , . : , . — , .

:

• "".

• .

, :

• .

, " " 1 .

• . , .

, . , , . , "" . — ( ).

, , , , . :

$$

$$IQR = Q_3 - Q_1,$$

$$$Q_1$ — — , 25% . $$$Q_3$ — — , 75% .

, , , : :

$$

$$[ Q_1 -1.5IQR, Q_3 + 1.5IQR ]$$

.

— . , [0, 1]. , . , . (, , ) .

. , , . , .

$$

$$x_{new} = \frac{ x_{old} - x_{min}} {x_{max} - x_{min}}$$

Z-. Z- :

$$

$$(-3σ[X], 3σ[X]),$$

$$$σ[X]$ — X.

Z- .

$$

$$x_{new} = \frac{x_{old} - M[X]} {σ[X]}$$

M[X] — X.

, Z- , .

One-hot encoding

. . , " " - . : . . . ( ).

, , ? . , " " 1, "" — 2. . , , . , . .

, , . , "" 4 :

, , .

, . . , , . . , .

شكرا على القراءة أو التصفح إلى هنا. لم أصف جميع طرق المعالجة المسبقة ، وهذه المقالة بالكاد مفيدة لعلماء البيانات المحترفين. ومع ذلك ، إذا كنت مبتدئًا ولا تعرف ماذا تفعل ببياناتك ، فيمكنك العودة بأمان هنا. حظا سعيدا في التعلم والمهام الشيقة!

قائمة المصادر

أنا لست عالماً وهذا المقال لا يدعي أنه علمي. لذلك ، لن أقوم بإعداد مصادر وفقًا لـ GOST. من فضلك اعذرني على هذا.

1. محاضرة الدورة من Yandex and HSE "مقدمة في التعلم الآلي" على المؤشر.
2. التوحيد القياسي ، أو يعني الإزالة وقياس التباين - وثائق مكتبة sklearn
3. مهام إعداد البيانات للتعلم الآلي المتقدم - Microsoft