تطبيع البيانات الذكية

ظهر هذا المقال لعدة أسباب.

أولاً ، في الغالبية العظمى من الكتب وموارد الإنترنت والدروس في علوم البيانات ، لا يتم النظر في الفروق الدقيقة والعيوب في الأنواع المختلفة لتطبيع البيانات وأسبابها على الإطلاق ، أو يتم ذكرها فقط بشكل عابر ودون الكشف عن الجوهر.

ثانيًا ، هناك استخدام "أعمى" ، على سبيل المثال ، للتوحيد القياسي للمجموعات ذات عدد كبير من الميزات - "بحيث يكون هو نفسه بالنسبة للجميع". خاصة للمبتدئين (كان هو نفسه). للوهلة الأولى ، لا بأس. ولكن عند الفحص الدقيق ، قد يتضح أن بعض العلامات قد وُضعت دون وعي في وضع متميز وبدأت في التأثير على النتيجة بقوة أكبر مما ينبغي.

وثالثًا ، كنت أرغب دائمًا في الحصول على طريقة عالمية تأخذ في الاعتبار مناطق المشكلات.

التكرار أم التعلم

التطبيع هو تحويل البيانات إلى وحدات معينة بلا أبعاد. في بعض الأحيان - ضمن نطاق معين ، على سبيل المثال ، [0..1] أو [-1..1]. في بعض الأحيان - مع بعض الخصائص المعطاة ، مثل ، على سبيل المثال ، الانحراف المعياري لـ 1.

الهدف الرئيسي من التسوية هو إحضار بيانات مختلفة في مجموعة متنوعة من الوحدات ونطاقات القيم إلى نموذج واحد يسمح لك بمقارنتها مع بعضها البعض أو استخدامها لحساب تشابه الكائنات. من الناحية العملية ، يعد هذا ضروريًا ، على سبيل المثال ، للتجميع وفي بعض خوارزميات التعلم الآلي.

من الناحية التحليلية ، يتم تقليل أي تطبيع إلى الصيغة

$$

$$X = (Xi - X)/X$$

أين $$$Xi$ - القيمة الحالية،

$$$X$ - قيمة قيم الإزاحة ،

$$$X$ - حجم الفاصل الزمني المطلوب تحويله إلى "واحد"

في الواقع ، كل هذا يتلخص في حقيقة أن مجموعة القيم الأصلية قد تم إزاحتها أولاً ثم قياسها.

أمثلة:

مينيماكس (مينماكس) . الهدف هو تحويل المجموعة الأصلية إلى النطاق [0..1]. له:

$$$X$= $$$X$, .

$$$X$ = $$$X$ — $$$X$, .. “” .

. — 0 1.

$$$X$= $$$X$, .

$$$X$ — .

, .

, , “” . .

, - . , . , , . , . , — . , , , , *

* — , , ( ), , .

, — .

1 —

— .. , , 0 “” .

? « » . .

№ 1 — , .

, “ ” , , — , . ( ). ( ) .

, , .

:

. “” .

, , , . .

2 —

. .

. , , [-1..1], . [-1..1], — [-1..100], , . .

. . , “”.

( ):

( ) , .

, () “”, .

— ( ). , “” .

75- 25- — . .. , “” 50% . “” / .

— “”, “” .

№ 2 — “” .

— .

( ).

- “” . , , “”.

. .. . — 1.

, , , № 3 — . ( ) .

, , . 2-

, , . .

, “-”. — .

— , . , . , , , , ? .

, . , “” , 1,5 (IQR) .*

* — ( .) 1,5 3 — .

.

— - , .

. (, , ) “” — 7%. (3 * IQR) — . . .. .

, . “ ” (1,5 * IQR) , . , - “” .

(Mia Hubert and Ellen Vandervieren) 2007 . “An Adjusted Boxplot for Skewed Distributions”.

“ ” , 1,5 * IQR.

“ ” medcouple (MC), :

“ ” , , , 1,5 * IQR — 0,7%

:

$$$MC >= 0$:

$$$MC < 0$:

. .

, , :

1. , , .
2. .
3. () — , , [0..1]

… — Mia Hubert Ellen Vandervieren

. .

, ( ) (MinMax — ).

№ 1 — . . , “” .

:

( ):

:

, — , , .

№ 2 — . [0..1]. , , .

MinMax ( ):

:

. -, , — .. 0 1.

, “” [0..1], , — , , , . .

* * *

أخيرًا ، لإتاحة الفرصة للشعور بهذه الطريقة بين يديك ، يمكنك تجربة الفصل التجريبي الخاص بي AdjustedScaler من هنا .

لم يتم تحسينه للعمل مع كمية كبيرة جدًا من البيانات ويعمل فقط مع pandas DataFrame ، ولكن للتجربة أو التجريب أو حتى فارغًا لشيء أكثر خطورة ، فهو مناسب تمامًا. جربها.