أساسيات الانحدار الخطي

مرحبا هبر!



الغرض من هذه المقالة هو التحدث عن الانحدار الخطي ، أي جمع وإظهار الصياغات والتفسيرات لمشكلة الانحدار من حيث التحليل الرياضي والإحصاء والجبر الخطي ونظرية الاحتمالات. على الرغم من أن الكتب المدرسية تحدد هذا الموضوع بشكل صارم وشامل ، إلا أن مقالة علمية أخرى مشهورة لن تضر.



! احترس من حركة المرور! تحتوي المقالة على عدد ملحوظ من الصور للرسوم التوضيحية ، بعضها بتنسيق gif.

المحتوى

• المقدمة
• طريقة التربيع الصغرى
  • التحليل الرياضي
  • الإحصاء
  • نظرية الاحتمالات
• الانحدار متعدد الخطوط
  • الجبر الخطي
• أساس تعسفي
• ملاحظات ختامية
  • مشكلة اختيار البعد
  • الطرق العددية
• الإعلان والاستنتاج

المقدمة

هناك ثلاثة مفاهيم متشابهة ، ثلاث أخوات: الاستيفاء والتقريب والانحدار.

لديهم هدف مشترك: من مجموعة وظائف ، اختر واحدًا له خاصية معينة.





إقحام- طريقة للاختيار من بين مجموعة الوظائف تلك التي تمر عبر نقاط معينة. ثم تُستخدم الوظيفة عادةً للحساب عند النقاط الوسيطة. على سبيل المثال ، قمنا بتعيين اللون يدويًا إلى عدة نقاط ونريد أن تشكل ألوان النقاط المتبقية انتقالات سلسة بين تلك المعطاة. أو نضع إطارات مفتاحية للرسوم المتحركة ونريد انتقالات سلسة بينها. الأمثلة التقليدية: استيفاء لاغرانج متعدد الحدود ، الاستيفاء الخطي ، الاستيفاء متعدد الأبعاد (خطي ، ثلاثي الخطوط ، أقرب جار ، إلخ). هناك أيضًا مفهوم متعلق بالاستقراء - التنبؤ بسلوك وظيفة خارج الفاصل الزمني. على سبيل المثال ، التنبؤ بسعر الدولار بناءً على التقلبات السابقة هو استقراء.



تقريب- طريقة للاختيار من بين مجموعة من الوظائف "البسيطة" تقريبًا لوظيفة "معقدة" في مقطع ما ، بينما يجب ألا يتجاوز الخطأ حدًا معينًا. يتم استخدام التقريب عندما تحتاج إلى الحصول على دالة مشابهة لوظيفة معينة ، ولكنها أكثر ملاءمة للحسابات والمعالجات (التفاضل والتكامل وما إلى ذلك). عند تحسين الأقسام الحرجة من الكود ، غالبًا ما يتم استخدام تقريب: إذا تم حساب قيمة دالة عدة مرات في الثانية ولم تكن هناك حاجة إلى الدقة المطلقة ، فيمكن الاستغناء عن مقارب أبسط مع "تكلفة" حساب أقل. تشمل الأمثلة الكلاسيكية سلسلة تايلور على مقطع ، وتقريب متعدد الحدود المتعامد ، وتقريب بادي ، وتقريب جيبية باسكار ، إلخ.



تراجع- طريقة للاختيار من بين مجموعة وظائف تقلل وظيفة الخسارة. يصف الأخير مدى انحراف دالة التجربة عن القيم عند نقاط معينة. إذا تم الحصول على نقاط في تجربة ما ، فإنها تحتوي حتمًا على خطأ في القياس ، وضوضاء ، وبالتالي فمن المعقول أن تتطلب أن تنقل الوظيفة الاتجاه العام ، ولا تمر عبر جميع النقاط بالضبط. بمعنى ما ، يعد الانحدار "ملائمة استيفاء": نريد رسم المنحنى أقرب ما يمكن من النقاط مع الحفاظ على بساطته قدر الإمكان لالتقاط الاتجاه العام. وظيفة الخسارة (في الأدب الإنجليزي "وظيفة الخسارة" أو "وظيفة التكلفة") هي المسؤولة عن التوازن بين هذه الرغبات المتضاربة.



في هذه المقالة ، سوف نلقي نظرة على الانحدار الخطي. هذا يعني أن مجموعة الوظائف التي نختار منها هي مزيج خطي من وظائف الأساس المحددة مسبقًا$$${f_i}$

$$

$$f = \sum_i w_i f_i.$$

الهدف من الانحدار هو إيجاد معاملات هذه المجموعة الخطية ، وبالتالي تحديد دالة الانحدار $$$f$(وتسمى أيضًا النموذج ). لاحظ أن الانحدار الخطي يسمى الانحدار الخطي على وجه التحديد بسبب التركيبة الخطية للوظائف الأساسية - وهذا لا يرتبط بأكثر الوظائف الأساسية (يمكن أن تكون خطية أو لا).



ظل الانحدار معنا لفترة طويلة: تم نشر الطريقة لأول مرة بواسطة Legendre في عام 1805 ، على الرغم من أن Gauss جاء إليها في وقت سابق واستخدمها بنجاح للتنبؤ بمدار "المذنب" (في الواقع كوكب قزم) سيريس. هناك العديد من الاختلافات والتعميمات للانحدار الخطي: LAD ، المربعات الصغرى ، Ridge Regression ، Lasso Regression ، ElasticNet ، وغيرها الكثير.

طريقة التربيع الصغرى

لنبدأ بأبسط حالة ثنائية الأبعاد. دعونا نحصل على نقاط على متن الطائرة$$$\{(x_1,y_1),\cdots,(x_N,y_N)\}$ ونحن نبحث عن وظيفة أفيني

$$

$$f(x) = a + b \cdot x,$$

بحيث يكون رسمها البياني أقرب إلى النقاط. وهكذا ، يتكون أساسنا من دالة ثابتة وخطية$$$(1, x)$...



كما ترون من الرسم التوضيحي ، يمكن فهم المسافة من نقطة إلى خط مستقيم بطرق مختلفة ، على سبيل المثال ، هندسيًا - إنها طول العمود العمودي. ومع ذلك ، في سياق مهمتنا ، نحتاج إلى مسافة وظيفية ، وليس مسافة هندسية. نحن مهتمون بالفرق بين القيمة التجريبية والتنبؤ بالنموذج لكل منهما$$$x_i,$ لذلك ، تحتاج إلى القياس على طول المحور $$$y$...



أول ما يتبادر إلى الذهن هو تجربة تعبير يعتمد على القيم المطلقة للاختلافات كدالة خسارة$$$|f(x_i) - y_i|$... أبسط خيار هو مجموع وحدات الانحراف$$$\sum_i |f(x_i) - y_i|$يؤدي إلى تراجع المسافة المطلقة الأقل (LAD).



ومع ذلك ، فإن دالة الخسارة الأكثر شيوعًا هي مجموع مربعات انحرافات المانع الانحدار عن النموذج. في الأدب الإنجليزي ، يطلق عليه مجموع الأخطاء التربيعية (SSE)

$$

$$\text{SSE}(a,b)=\text{SS}_{res[iduals]}=\sum_{i=1}^N{\text{}_i}^2=\sum_{i=1}^N(y_i-f(x_i))^2=\sum_{i=1}^N(y_i-a-b\cdot x_i)^2,$$

المربعات الصغرى (OLS) - الانحدار الخطي مع $$$\text{SSE}(a,b)$ كدالة خسارة.



هذا الاختيار مناسب في المقام الأول: مشتق الدالة التربيعية هو دالة خطية ، ويمكن حل المعادلات الخطية بسهولة. ومع ذلك ، سأشير كذلك إلى اعتبارات أخرى لصالح$$$\text{SSE}(a,b)$...

التحليل الرياضي

أبسط طريقة لإيجاد $$$\text{argmin}_{a,b} \, \text{SSE}(a,b)$ - حساب المشتقات الجزئية بالنسبة ل $$$a$ و $$$b$، ساويهم بالصفر وحل نظام المعادلات الخطية

$$

$$\begin{aligned} \frac{\partial}{\partial a}\text{SSE}(a,b)&=-2\sum_{i=1}^N(y_i-a-bx_i), \\ \frac{\partial}{\partial b}\text{SSE}(a,b)&=-2\sum_{i=1}^N(y_i-a-bx_i)x_i. \end{aligned}$$

قيم المعلمات التي تقلل من دالة الخسارة تحقق المعادلات

$$

$$\begin{aligned} 0 &= -2\sum_{i=1}^N(y_i-\hat{a}-\hat{b}x_i), \\ 0 &= -2\sum_{i=1}^N(y_i-\hat{a}-\hat{b}x_i)x_i, \end{aligned}$$

التي يسهل حلها

$$

$$\begin{aligned} \hat{a}&=\frac{\sum_i y_i}{N}-\hat{b}\frac{\sum_i x_i}{N},\\ \hat{b}&=\frac{\frac{\sum_i x_i y_i}{N}-\frac{\sum_i x_i\sum_i y_i}{N^2}}{\frac{\sum_i x_i^2}{N}-\left(\frac{\sum_i x_i^2}{N}\right)^2}. \end{aligned}$$

لدينا تعابير غير عملية وغير منظمة. الآن سوف نعظمهم وننفس المعنى فيهم.

الإحصاء

يمكن كتابة الصيغ الناتجة بشكل مضغوط باستخدام المقدرات الإحصائية: متوسط $$$\langle{\cdot}\rangle$، الاختلافات $$$\sigma_{\cdot}$ (الانحراف المعياري) ، التغاير $$$\sigma({\cdot},{\cdot})$ والارتباطات $$$\rho({\cdot},{\cdot})$

$$

$$\begin{aligned} \hat{a}&=\langle{y}\rangle-\hat{b}\langle{x}\rangle, \\ \hat{b}&=\frac{\langle{xy}\rangle-\langle{x}\rangle\langle{y}\rangle}{\langle{x^2}\rangle-\langle{x}\rangle^2}. \end{aligned}$$

دعونا نعيد الكتابة $$$\hat{b}$ مثل

$$

$$\hat{b} = \frac{\sigma(x,y)}{\sigma_x^2},$$

أين $$$\sigma_x$ هو الانحراف المعياري غير المصحح (المتحيز) للعينة ، و $$$\sigma(x,y)$- التغاير. الآن ، تذكر أن معامل الارتباط (معامل ارتباط بيرسون)

$$

$$\rho(x,y)=\frac{\sigma(x,y)}{\sigma_x \sigma_y}$$

واكتب

$$

$$\hat{b}=\rho(x,y)\frac{\sigma_y}{\sigma_x}.$$

الآن يمكننا أن نقدر كل أناقة الإحصاء الوصفي بكتابة معادلة خط الانحدار مثل هذا

$$

$$\boxed{y-\langle {y} \rangle = \rho(x,y)\frac{\sigma_y}{\sigma_x}(x-\langle {x} \rangle)}.$$

أولاً ، تشير هذه المعادلة على الفور إلى خاصيتين لخط الانحدار:

• يمر الخط المستقيم عبر مركز الكتلة $$$(\langle{x}\rangle, \langle{y}\rangle)$؛
• إذا على طول المحور $$$x$ لكل وحدة طول اختر $$$\sigma_x$وعلى طول المحور $$$y$ - $$$\sigma_y$، ثم تكون زاوية ميل الخط المستقيم من $$$-45^\circ$ قبل $$$45^\circ$... هذا بسبب الحقيقة بأن$$$-1 \leq\rho(x,y)\leq 1$...

ثانيًا ، أصبح من الواضح الآن سبب تسمية طريقة الانحدار بهذه الطريقة. بوحدات الانحراف المعياري$$$y$ ينحرف عن الوسط بأقل من $$$x$، لان $$$|\rho(x,y)|\leq1$... وهذا ما يسمى الانحدار (من اللاتينية regressus - "العودة") بالنسبة للمتوسط. وصف السير فرانسيس جالتون هذه الظاهرة في أواخر القرن التاسع عشر في مقالته "الانحدار إلى الوسطية في وراثة النمو". توضح المقالة أن السمات (مثل الطول) التي تنحرف كثيرًا عن المتوسط ​​نادرًا ما يتم توريثها. يبدو أن خصائص النسل تميل إلى المتوسط ​​- فالطبيعة تقع على أطفال العباقرة.



من خلال تربيع معامل الارتباط ، نحصل على معامل التحديد$$$R = \rho^2$... يوضح مربع هذا المقياس الإحصائي مدى ملاءمة نموذج الانحدار للبيانات.$$$R^2$يساوي $$$1$، يعني أن الوظيفة تناسب تمامًا جميع النقاط - البيانات مترابطة تمامًا. يمكن إثبات ذلك$$$R^2$يوضح مقدار التباين في البيانات الذي يرجع إلى أفضل نموذج خطي. لفهم ما يعنيه هذا ، نقدم التعاريف

$$

$$\begin{aligned} \text{Var}_{data} &= \frac{1}{N}\sum_i (y_i-\langle y \rangle)^2, \\ \text{Var}_{res} &= \frac{1}{N} \sum_i (y_i-\text{}(x_i))^2, \\ \text{Var}_{reg} &= \frac{1}{N} \sum_i (\text{}(x_i)-\langle y \rangle)^2. \end{aligned}$$

$$$\text{Var}_{data}$ - تباين البيانات الأولية (تغيير النقاط $$$y_i$).



$$$\text{Var}_{res}$ - تباين القيم المتبقية ، أي اختلاف الانحرافات عن نموذج الانحدار - من $$$y_i$ تحتاج إلى طرح تنبؤ النموذج وإيجاد التباين.



$$$\text{Var}_{reg}$ - تباين الانحدار ، أي اختلاف تنبؤات نموذج الانحدار عند النقاط $$$x_i$ (لاحظ أن متوسط ​​توقعات النموذج يتطابق $$$\langle y \rangle$).



الحقيقة هي أن التباين في البيانات الأصلية يتحلل إلى مجموع شكلين آخرين: التباين الذي يفسره النموذج ، وتغير الضوضاء العشوائية (المخلفات)

$$

$$\boxed{{\color{red}{\text{Var}_{data}}} ={\color{green}{\text{Var}_{res}}}+ {\color{blue}{\text{Var}_{reg}}}.}$$

أو

$$

$$\sigma^2_{data} =\sigma^2_{res}+ \sigma^2_{reg}.$$

كما ترى ، فإن الانحرافات المعيارية تشكل مثلث قائم الزاوية.





نحن نسعى جاهدين للتخلص من التباين المرتبط بالضوضاء ونترك فقط التباين الذي يفسره النموذج - نريد فصل القمح عن القشر. يتضح مدى نجاح أفضل النماذج الخطية$$$R^2$يساوي واحدًا مطروحًا منه جزء اختلاف الخطأ في التباين الكلي

$$

$$R^2=\frac{\text{Var}_{data}-\text{Var}_{res}}{\text{Var}_{data}}=1-\frac{\color{green}{\text{Var}_{res}}}{\color{red}{\text{Var}_{data}}}$$

أو نسبة التباين الموضحة (نسبة اختلاف الانحدار في التباين الكلي)

$$

$$R^2=\frac{\color{blue}{\text{Var}_{reg}}}{\color{red}{\text{Var}_{data}}}.$$

$$$R$ يساوي جيب تمام زاوية في مثلث قائم الزاوية $$$(\sigma_{data}, \sigma_{reg}, \sigma_{res})$... بالمناسبة ، في بعض الأحيان يتم تقديم جزء صغير من الاختلاف غير المبرر $$$FUV=1-R^2$وهو يساوي مربع الجيب في هذا المثلث. إذا كان معامل التحديد صغيرًا ، فربما اخترنا وظائف أساسية غير ناجحة ، ولا ينطبق الانحدار الخطي على الإطلاق ، إلخ.

نظرية الاحتمالات

في وقت سابق وصلنا إلى وظيفة الخسارة $$$\text{SSE}(a,b)$لأسباب تتعلق بالراحة ، ولكن يمكن أيضًا الوصول إليها باستخدام نظرية الاحتمالية وطريقة الاحتمال الأقصى (MLM). اسمحوا لي أن أذكر بإيجاز جوهرها. افترض لدينا$$$N$متغيرات عشوائية مستقلة موزعة بشكل متماثل (في حالتنا ، نتائج القياس). نحن نعرف شكل دالة التوزيع (على سبيل المثال ، التوزيع الطبيعي) ، لكننا نريد تحديد المعلمات المضمنة فيها (على سبيل المثال$$$\mu$ و $$$\sigma$). للقيام بذلك ، تحتاج إلى حساب احتمال الحصول على$$$N$datapoints بافتراض معلمات ثابتة ولكنها غير معروفة. نظرًا لاستقلالية القياسات ، نحصل على ناتج احتمالات تحقيق كل بُعد. إذا فكرنا في القيمة الناتجة كدالة للمعلمات (دالة الاحتمال) ووجدنا الحد الأقصى لها ، نحصل على تقدير للمعلمات. في كثير من الأحيان ، بدلاً من دالة الاحتمال ، يستخدمون اللوغاريتم الخاص بها - من الأسهل التفريق بينها ، لكن النتيجة واحدة.



دعنا نعود إلى مشكلة الانحدار البسيطة. لنفترض أن القيم$$$x$ نعلم بالضبط ، ولكن في القياس $$$y$هناك ضوضاء عشوائية (خاصية خارجية ضعيفة ). علاوة على ذلك ، نفترض أن جميع الانحرافات عن الخط المستقيم (خاصية الخطية ) ناتجة عن ضوضاء ذات توزيع ثابت ( توزيع ثابت ). ثم

$$

$$y = a + bx + \epsilon,$$

أين $$$\epsilon$ - متغير عشوائي يوزع عادة

$$

$$\epsilon \sim \mathcal{N}(0,\,\sigma^{2}), \qquad p(\epsilon) = \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{\epsilon^2}{2\sigma^2}}.$$

بناءً على الافتراضات أعلاه ، نكتب دالة الاحتمال

$$

$$\begin{aligned} L(a,b|\mathbf{y})&=P(\mathbf{y}|a,b)=\prod_i P(y_i|a,b)=\prod_i p(y_i-a-bx|a,b)=\\ &= \prod_i \frac{1}{\sqrt{2 \pi \sigma^2}} e^{-\frac{(y_i-a-bx)^2}{2\sigma^2}}= \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{\sum_i (y_i-a-bx)^2}{2 \sigma^2}}=\\ &= \frac{1}{\sqrt{2 \pi \sigma^2}}e^{-\frac{\text{SSE}(a,b)}{2 \sigma^2}} \end{aligned}$$

ولوغاريتمه

$$

$$l(a,b|\mathbf{y})=\log{L(a,b|\mathbf{y})}=-\text{SSE}(a,b)+const.$$

وبالتالي ، يتم تحقيق أقصى احتمال على الأقل $$$\text{SSE}$

$$

$$(\hat{a},\hat{b})=\text{argmax}_{a,b} \, l(a,b|\mathbf{y}) = \text{argmin}_{a,b} \, \text{SSE}(a,b),$$

مما يعطي سببًا لقبولها كدالة خسارة. بالمناسبة ، إذا

$$

$$\begin{aligned} \epsilon \sim \text{Laplace}(0, \alpha), \qquad p_{L}(\epsilon; \mu, \alpha) =\frac{\alpha}{2}e^{-\alpha |\epsilon-\mu|} \end{aligned}$$

نحصل على دالة فقدان الانحدار LAD

$$

$$E_{LAD}(a,b)=\sum_i |y_i-a-bx_i|,$$

الذي ذكرناه سابقًا.



النهج الذي استخدمناه في هذا القسم هو أحد الأساليب الممكنة. من الممكن تحقيق نفس النتيجة باستخدام خصائص أكثر عمومية. على وجه الخصوص ، يمكن إضعاف خاصية ثبات التوزيع عن طريق استبدالها بخصائص الاستقلال ، وثبات التباين (المثلية الجنسية) ، وغياب العلاقة الخطية المتعددة. أيضًا ، بدلاً من تقدير MMP ، يمكنك استخدام طرق أخرى ، على سبيل المثال ، تقدير MMSE الخطي.

الانحدار متعدد الخطوط

حتى الآن ، درسنا مشكلة الانحدار لميزة عددية واحدة $$$x$، ولكن عادة ما يكون الانحدار $$$n$ناقلات الأبعاد $$$\mathbf{x}$... بمعنى آخر ، نحن نسجل لكل بُعد$$$n$الميزات ، والجمع بينها في متجه. في هذه الحالة ، من المنطقي قبول النموذج باستخدام$$$n+1$ وظائف أساس مستقل للحجة المتجهة - $$$n$ تتوافق درجات الحرية $$$n$ الميزات وواحد آخر - رجعي $$$y$... أبسط خيار هو وظائف الأساس الخطي$$$(1, x_1, \cdots, x_n)$... متي$$$n = 1$ نحصل على الأساس المألوف بالفعل $$$(1, x)$...



لذلك ، نريد إيجاد مثل هذا المتجه (مجموعة من المعاملات)$$$\mathbf{w}$، ماذا

$$

$$\sum_{j=0}^n w_j x_j^{(i)}= \mathbf{w}^{\top}\mathbf{x}^{(i)} \simeq y_i, \qquad \qquad \qquad \qquad i=1\dots N.$$

إشارة "$$$\simeq$"يعني أننا نبحث عن حل يقلل من مجموع تربيع الأخطاء

$$

$$\hat{\mathbf{w}}=\text{argmin}_\mathbf{w} \, \sum_{i=1}^N \left({y_i - \mathbf{w}^{\top}\mathbf{x}^{(i)}}\right)^2$$

يمكن إعادة كتابة المعادلة الأخيرة بطريقة أكثر ملاءمة. لهذا نضع$$$\mathbf{x}^{(i)}$ في صفوف المصفوفة (مصفوفة المعلومات)

$$

$$X= \begin{pmatrix} - & \mathbf{x}^{(1)\top} & - \\ \cdots & \cdots & \cdots\\ - & \mathbf{x}^{(N)\top} & - \end{pmatrix} = \begin{pmatrix} | & | & & | \\ \mathbf{x}_0 & \mathbf{x}_1 & \cdots & \mathbf{x}_n \\ | & | & & | \end{pmatrix} = \begin{pmatrix} 1 & x^{(1)}_{1} & \cdots & x^{(1)}_{n} \\ \cdots & \cdots & \cdots & \cdots\\ 1 & x^{(N)}_{1} & \cdots & x^{(N)}_{n} \end{pmatrix}.$$

ثم أعمدة المصفوفة $$$\mathbf{x}_{i}$ لقاء القياسات $$$i$-الخاصية. من المهم عدم الخلط هنا:$$$N$ - عدد القياسات ، $$$n$- عدد العلامات (الميزات) التي نسجلها. يمكن كتابة النظام باسم

$$

$$X \, \mathbf{w} \simeq \mathbf{y}.$$

تشكل القاعدة التربيعية لفرق المتجه في الجانبين الأيمن والأيسر من المعادلة دالة الخسارة

$$

$$\text{SSE}(\mathbf{w}) = {\|\mathbf{y}-X \mathbf{w}\|}^2, \qquad \qquad \mathbf{w} \in \mathbb{R}^{n+1}; \, \mathbf{y} \in \mathbb{R}^{N},$$

التي نعتزم تقليلها

$$

$$\begin{aligned} \hat{\mathbf{w}}&=\text{argmin}_\mathbf{w} \, \text{SSE}(\mathbf{w}) = \text{argmin}_\mathbf{w} \, (\mathbf{y}-X \mathbf{w})^{\top}(\mathbf{y}-X \mathbf{w})=\\ &= \text{argmin}_\mathbf{w} \,(\mathbf{y}^{\top}\mathbf{y}-2\mathbf{w}^{\top}X^{\top}\mathbf{y}+\mathbf{w}^{\top}X^{\top}X\mathbf{w}). \end{aligned}$$

لنشتق المقدار الأخير من خلال $$$\mathbf{w}$(إذا نسيت كيفية القيام بذلك ، فقم بإلقاء نظرة على كتاب الطبخ Matrix )

$$

$$\frac{\partial \, \text{SSE}(\mathbf{w})}{\partial \mathbf{w}}=-2 X^{\top}\mathbf{y}+2 X^{\top}X\mathbf{w},$$

نحن نساوي المشتق $$$\mathbf{0}$ونحصل على ما يسمى. المعادلات العادية

$$

$$X^{\top}X \, \hat{\mathbf{w}}=X^{\top}\mathbf{y}.$$

إذا كانت أعمدة مصفوفة المعلومات $$$X$ مستقلة خطيًا (لا توجد سمات مترابطة تمامًا) ، ثم المصفوفة $$$X^{\top}X$عكس ذلك (يمكن رؤية الدليل ، على سبيل المثال ، في فيديو أكاديمية خان ). ثم يمكننا الكتابة

$$

$$\boxed{\hat{\mathbf{w}} = (X^{\top}X)^{-1}X^{\top}\mathbf{y}=X^{+}\mathbf{y}},$$

أين

$$

$$X^{+}=(X^{\top}X)^{-1}X^{\top}$$

معكوس زائف ل $$$X$... تم تقديم مفهوم المصفوفة pseudoinverse في عام 1903 بواسطة Fredholm ، ولعب دورًا مهمًا في أعمال Moore و Penrose.



اسمحوا لي أن أذكرك ما يجب أن تتحول$$$X^{\top}X$ ويجد $$$X^{+}$ ممكن فقط إذا كانت الأعمدة $$$X$مستقلة خطيًا. ومع ذلك ، إذا كانت الأعمدة$$$X$ قريبة من الاعتماد الخطي ، الحساب $$$(X^{\top}X)^{-1}$أصبح بالفعل غير مستقر عدديًا. درجة الاعتماد الخطي للميزات في$$$X$أو ، كما يقولون ، الخطية المتعددة للمصفوفة$$$X^{\top}X$، يمكن قياسها برقم الشرطية - نسبة الحد الأقصى لقيمة eigenvalue إلى الحد الأدنى. كلما كانت أكبر ، كلما اقتربت$$$X^{\top}X$ للحساب المنحط وغير المستقر للعكس الزائف.

الجبر الخطي

يمكن الوصول إلى حل مشكلة الانحدار متعدد الخطوط بشكل طبيعي بمساعدة الجبر والهندسة الخطية ، لأنه حتى حقيقة أن معيار متجه الخطأ يظهر في دالة الخسارة بالفعل يشير إلى أن المشكلة لها جانب هندسي. لقد رأينا أن محاولة إيجاد نموذج خطي يصف النقاط التجريبية تؤدي إلى المعادلة

$$

$$X \, \mathbf{w} \simeq \mathbf{y}.$$

إذا كان عدد المتغيرات مساويًا لعدد المجهول وكانت المعادلات مستقلة خطيًا ، فإن النظام لديه حل فريد. ومع ذلك ، إذا تجاوز عدد الأبعاد عدد الميزات ، أي أن هناك معادلات أكثر من عدد المجهول ، يصبح النظام غير متسق ومُحدد بشكل زائد. في هذه الحالة ، أفضل ما يمكننا فعله هو اختيار المتجه$$$\mathbf{w}$صورته $$$X\mathbf{w}$ الأقرب إلى $$$\mathbf{y}$... اسمحوا لي أن أذكرك أن العديد من الصور أو مساحة العمود$$$\mathcal{C}(X)$ هي تركيبة خطية من متجهات العمود في المصفوفة $$$X$

$$

$$\begin{pmatrix} | & | & & | \\ \mathbf{x}_0 & \mathbf{x}_1 & \cdots & \mathbf{x}_n \\ | & | & & | \end{pmatrix} \mathbf{w} = w_0 \mathbf{x}_0 + w_1 \mathbf{x}_1 + \cdots w_n \mathbf{x}_n .$$

$$$\mathcal{C}(X)$ - $$$n+1$فضاء جزئي خطي الأبعاد (نعتبر الميزات مستقلة خطيًا) ، الامتداد الخطي لمتجهات العمود $$$X$... حتى إذا$$$\mathbf{y}$ ينتمي $$$\mathcal{C}(X)$عندها يمكننا إيجاد حل ، إذا لم يكن الأمر كذلك ، فسنسعى ، إذا جاز التعبير ، إلى أفضل ما لم يتم حله.



إذا بالإضافة إلى ناقلات$$$\mathcal{C}(X)$ نحن نعتبر كل المتجهات متعامدة معها ، ثم نحصل على فضاء فرعي آخر ويمكننا استخدام أي متجه منها $$$\mathbb{R}^{N}$تتحلل إلى مكونين ، يعيش كل منهما في فضاء جزئي خاص به. يمكن وصف الفضاء العمودي الثاني على النحو التالي (سنحتاجه لاحقًا). دعها تذهب$$$\mathbf{v} \in \mathbb{R}^{N}$ثم

$$

$$X^\top \mathbf{v} = \begin{pmatrix} - & \mathbf{x}_0^{\top} & - \\ \cdots & \cdots & \cdots\\ - & \mathbf{x}_n^{\top} & - \end{pmatrix} \mathbf{v} = \begin{pmatrix} \mathbf{x}_0^{\top} \cdot \mathbf{v} \\ \cdots \\ \mathbf{x}_n^{\top} \cdot \mathbf{v} \\ \end{pmatrix}$$

صفر إذا وفقط إذا $$$\mathbf{v}$ عمودي على الجميع $$$\mathbf{x}_i$، وبالتالي الكل $$$\mathcal{C}(X)$... وهكذا ، وجدنا فئتين جزئيتين خطيتين متعامدين ، مجموعات خطية من المتجهات التي "تغطي" بالكامل ، بدون ثقوب ، كل$$$\mathbb{R}^N$... يتم الإشارة إلى هذا أحيانًا بواسطة رمز المجموع المباشر المتعامد





أين $$$\text{ker}(X^{\top})=\{\mathbf{v}|X^{\top}\mathbf{v}=\mathbf{0}\}$... يمكن الوصول إلى كل مساحة فرعية باستخدام عامل الإسقاط المقابل ، ولكن المزيد عن ذلك أدناه.



الآن دعونا نتخيل $$$\mathbf{y}$ تقسيم

$$

$$\mathbf{y} = \mathbf{y}_{\text{proj}} + \mathbf{y}_{\perp}, \qquad \mathbf{y}_{\text{proj}} \in \mathcal{C}(X), \qquad \mathbf{y}_{\perp} \in \text{ker}(X^{\top}).$$

إذا كنا نبحث عن حل $$$\hat{\mathbf{w}}$، فمن الطبيعي أن تطلب ذلك $$$|| \mathbf{y} - X\mathbf{w} ||$كان الحد الأدنى ، لأن هذا هو طول المتجه المتبقي. النظر في عمودية الفراغات الجزئية ونظرية فيثاغورس

$$

$$\text{argmin}_\mathbf{w} || \mathbf{y} - X\mathbf{w} || = \text{argmin}_\mathbf{w} || \mathbf{y}_{\perp} + \mathbf{y}_{\text{proj}} - X\mathbf{w} || = \text{argmin}_\mathbf{w} \sqrt{|| \mathbf{y}_{\perp} ||^2 + || \mathbf{y}_{\text{proj}} - X\mathbf{w} ||^2},$$

ولكن منذ اختيار مناسب $$$\mathbf{w}$، يمكنني الحصول على أي متجه لمساحة العمود ، ثم يتم تقليل المشكلة إلى

$$

$$X\hat{\mathbf{w}} = \mathbf{y}_{\text{proj}},$$

و $$$\mathbf{y}_{\perp}$سيبقى كخطأ فادح. أي خيار آخر$$$\hat{\mathbf{w}}$ سوف يرتكب الخطأ أكثر.



إذا تذكرنا ذلك الآن $$$X^{\top} \mathbf{y}_{\perp} = \mathbf{0}$ثم من السهل رؤيته

$$

$$X^\top X \mathbf{w} = X^{\top} \mathbf{y}_{\text{proj}} = X^{\top} \mathbf{y}_{\text{proj}} + X^{\top} \mathbf{y}_{\perp} = X^{\top} \mathbf{y},$$

وهو أمر مريح للغاية منذ ذلك الحين $$$\mathbf{y}_{\text{proj}}$ ليس لدينا ولكن $$$\mathbf{y}$- يوجد. أذكر من القسم السابق أن$$$X^{\top} X$ له معكوس بشرط الاستقلال الخطي للسمات ويكتب الحل

$$

$$\mathbf{w} = (X^\top X)^{-1} X^\top \mathbf{y} = X^{+} \mathbf{y},$$

أين $$$X^{+}$المصفوفة pseudoinverse المألوفة. إذا كنا مهتمين بالإسقاط$$$\mathbf{y}_{\text{proj}}$، ثم يمكننا الكتابة

$$

$$\mathbf{y}_{\text{proj}} = X \mathbf{w} = X X^{+} \mathbf{y} = \text{Proj}_X \mathbf{y},$$

أين $$$\text{Proj}_X$- مشغل الإسقاط على مساحة العمود.



دعنا نوضح المعنى الهندسي لمعامل التحديد.



لاحظ أن المتجه الأرجواني $$$\bar{y} \cdot \boldsymbol{1}=\bar{y} \cdot (1,1,\dots,1)^{\top}$ يتناسب مع العمود الأول من مصفوفة المعلومات $$$X$، والتي تتكون من وحدة واحدة وفقًا لاختيارنا لوظائف الأساس. في مثلث RGB

$$

$${\color{red}{\mathbf{y}-\hat{y} \cdot \boldsymbol{1}}}={\color{green}{\mathbf{y}-\bar{\mathbf{y}}}}+{\color{blue}{\hat{\mathbf{y}}-\bar{y} \cdot \boldsymbol{1}}}.$$

بما أن هذا المثلث مستطيل ، إذن حسب نظرية فيثاغورس

$$

$${\color{red}{\|\mathbf{y}-\hat{y} \cdot \boldsymbol{1}\|^2}}={\color{green}{\|\mathbf{y}-\bar{\mathbf{y}}\|^2}}+{\color{blue}{\|\hat{\mathbf{y}}-\bar{y} \cdot \boldsymbol{1}\|^2}}.$$

هذا تفسير هندسي لحقيقة معروفة بالفعل

$$

$${\color{red}{\text{Var}_{data}}} = {\color{green}{\text{Var}_{res}}}+{\color{blue}{\text{Var}_{reg}}}.$$

نحن نعلم ذلك

$$

$$R^2=\frac{\color{blue}{\text{Var}_{reg}}}{\color{red}{\text{Var}_{data}}},$$

مما يعني

$$

$$R=\cos{\theta}.$$

جميل ، أليس كذلك؟

أساس تعسفي

كما نعلم ، يتم تنفيذ الانحدار على أساس الوظائف $$$f_i$ والنتيجة هي النموذج

$$

$$f = \sum_i w_i f_i,$$

لكن حتى الآن استخدمنا أبسطها $$$f_i$نقلت ببساطة الميزات الأصلية دون تغييرات ، حسنًا ، إلا أنها أكملتها بميزات ثابتة $$$f_0(\mathbf{x}) = 1$... كما ترون ، في الواقع ، لا أحد$$$f_i$، ولا يقتصر عددهم على أي شيء - الشيء الرئيسي هو أن الوظائف في الأساس مستقلة خطيًا. عادة ، يتم الاختيار بناءً على افتراضات حول طبيعة العملية التي نقوم بصياغتها. إذا كان لدينا سبب للاعتقاد بأن النقاط$$$\{(x_1,y_1),\cdots,(x_N,y_N)\}$ تقع على قطع مكافئ ، وليس على خط مستقيم ، فإن الأمر يستحق اختيار الأساس $$$(1, x, x^2)$... يمكن أن يكون عدد الوظائف الأساسية إما أقل أو أكثر من عدد الميزات الأصلية.



إذا قررنا على الأساس ، فإننا نمضي على النحو التالي. نحن نشكل مصفوفة من المعلومات

$$

$$\Phi = \begin{pmatrix} - & \boldsymbol{f}^{(1)\top} & - \\ \cdots & \cdots & \cdots\\ - & \boldsymbol{f}^{(N)\top} & - \end{pmatrix} = \begin{pmatrix} {f}_{0}\left(\mathbf{x}^{(1)}\right) & {f}_{1}\left(\mathbf{x}^{(1)}\right) & \cdots & {f}_{n}\left(\mathbf{x}^{(1)}\right) \\ \cdots & \cdots & \cdots & \cdots\\ {f}_{0}\left(\mathbf{x}^{(N)}\right) & {f}_{1}\left(\mathbf{x}^{(N)}\right) & \cdots & {f}_{n}\left(\mathbf{x}^{(N)}\right) \end{pmatrix},$$

اكتب وظيفة الخسارة

$$

$$E(\mathbf{w})={\|{\boldsymbol{\epsilon}}(\mathbf{w})\|}^2={\|\mathbf{y}-\Phi \, \mathbf{w}\|}^2$$

والعثور على الحد الأدنى ، على سبيل المثال ، باستخدام المصفوفة pseudoinverse

$$

$$\hat{\mathbf{w}} = \text{argmin}_\mathbf{w} \,E(\mathbf{w}) = (\Phi^{\top}\Phi)^{-1}\Phi^{\top}\mathbf{y}=\Phi^{+}\mathbf{y}$$

أو طريقة أخرى.

ملاحظات ختامية

مشكلة اختيار البعد

من الناحية العملية ، غالبًا ما يكون من الضروري بناء نموذج للظاهرة بشكل مستقل ، أي لتحديد عدد الوظائف الأساسية التي ينبغي القيام بها. الدافع الأول "للحصول على المزيد" يمكن أن يؤدي إلى نكتة قاسية: سيكون النموذج حساسًا جدًا للضوضاء في البيانات (التجهيز الزائد). من ناحية أخرى ، إذا قمت بتقييد النموذج بشكل مفرط ، فسيكون خشنًا جدًا (غير مناسب).



هناك طريقتان للخروج من الموقف. الأول هو زيادة عدد الوظائف الأساسية باستمرار ، والتحقق من جودة الانحدار والتوقف في الوقت المناسب. أو الثاني: اختر دالة الخسارة التي ستحدد عدد درجات الحرية تلقائيًا. كمعيار لنجاح الانحدار ، يمكنك استخدام معامل التحديد الذي سبق ذكره أعلاه ، ولكن المشكلة تكمن في$$$R^2$ينمو بشكل رتيب مع زيادة أبعاد الأساس. لذلك ، يتم إدخال المعامل المعدل

$$

$$\bar{R}^2=1-(1-R^2)\left[\frac{N-1}{N-(n+1)}\right],$$

أين $$$N$ - حجم العينة، $$$n$- عدد المتغيرات المستقلة. بعد$$$\bar{R}^2$، يمكننا التوقف في الوقت المناسب والتوقف عن إضافة درجات إضافية من الحرية.



المجموعة الثانية من الأساليب هي التنظيم ، وأشهرها ريدج ($$$L_2$/ ريدج / تيخونوف تسوية) ، لاسو ($$$L_1$تسوية) وشبكة مرنة (ريدج + لاسو). الفكرة الرئيسية لهذه الطرق هي تعديل دالة الخسارة بشروط إضافية لن تسمح لمتجه المعاملات$$$\mathbf{w}$ تنمو إلى أجل غير مسمى وبالتالي تمنع إعادة التدريب

$$

$$\begin{aligned} E_{\text{Ridge}}(\mathbf{w})&=\text{SSE}(\mathbf{w})+\alpha \sum_i |w_i|^2 = \text{SSE}(\mathbf{w})+\alpha \| \mathbf{w}\|_{L_2}^2,\\ E_{\text{Lasso}}(\mathbf{w})&=\text{SSE}(\mathbf{w})+\beta \sum_i |w_i| =\text{SSE}(\mathbf{w})+\beta \| \mathbf{w}\|_{L_1},\\ E_{\text{EN}}(\mathbf{w})&=\text{SSE}(\mathbf{w})+\alpha \| \mathbf{w}\|_{L_2}^2+\beta \| \mathbf{w}\|_{L_1}, \\ \end{aligned}$$

أين $$$\alpha$ و $$$\beta$- المعلمات التي تتحكم في "قوة" التسوية. هذا موضوع واسع ذو هندسة جميلة ويستحق مناقشة منفصلة. بالمناسبة ، سوف أذكر أنه في حالة متغيرين ، باستخدام التفسير الاحتمالي ، يمكن للمرء الحصول على انحدارات Ridge و Lasso عن طريق اختيار التوزيع المسبق للمعامل بنجاح$$$b$

$$

$$y = a + bx + \epsilon,\qquad \epsilon \sim \mathcal{N}(0,\,\sigma^{2}),\qquad \left\{\begin{aligned} &b \sim \mathcal{N}(0,\,\tau^{2})&\leftarrow\text{Ridge},\\ &b \sim \text{Laplace} (0,\,\alpha)&\leftarrow\text{Lasso}. \end{aligned}\right.$$

الطرق العددية

اسمحوا لي أن أقول بضع كلمات حول كيفية تقليل وظيفة الخسارة في الممارسة العملية. SSE هي وظيفة تربيعية عادية يتم تحديد معلماتها بواسطة بيانات الإدخال ، لذلك من حيث المبدأ يمكن تصغيرها من خلال طريقة النسب الأكثر حدة أو طرق التحسين الأخرى. بالطبع ، يتم عرض أفضل النتائج من خلال الخوارزميات التي تأخذ في الاعتبار شكل وظيفة SSE ، على سبيل المثال ، طريقة نزول التدرج العشوائي. يستخدم تطبيق Lasso للانحدار في scikit-Learn طريقة تنسيق النسب.



يمكنك أيضًا حل المعادلات العادية باستخدام طرق الجبر الخطي العددي. تتمثل إحدى الطرق الفعالة التي يستخدمها scikit-Learn لـ OLS في إيجاد المعكوس الزائف باستخدام تحليل القيمة المفرد. حقول هذه المقالة ضيقة جدًا بحيث لا يمكن التطرق إليها في هذا الموضوع ، للحصول على تفاصيل ، أنصحك بالرجوع إلى مسار محاضرات K.V. Vorontsov.

الإعلان والاستنتاج

هذه المقالة عبارة عن إعادة سرد مختصرة لأحد فصول دورة حول التعلم الآلي الكلاسيكي في جامعة كييف الأكاديمية (خلف فرع كييف لمعهد موسكو للفيزياء والتكنولوجيا ، KO MIPT). ساعد مؤلف المقال في إنشاء هذه الدورة. يتم إجراء الدورة التدريبية تقنيًا على نظام Google Colab الأساسي ، والذي يسمح لك بدمج صيغ LaTeX المنسقة ورمز Python القابل للتنفيذ والعروض التوضيحية التفاعلية في Python + JavaScript ، بحيث يمكن للطلاب العمل مع مواد الدورة التدريبية وتشغيل الكود من أي جهاز كمبيوتر يحتوي على متصفح. على الصفحة الرئيسية يحتوي على روابط لملخصات، المصنفات الممارسة، وموارد إضافية. تعتمد الدورة على المبادئ التالية:

• يجب أن تكون جميع المواد متاحة للطلاب من الزوج الأول ؛
• المحاضرة ضرورية للفهم وليس لتدوين الملاحظات (الملاحظات جاهزة بالفعل ، ولا جدوى من كتابتها إذا كنت لا تريد ذلك) ؛
• المحاضرة هي أكثر من مجرد محاضرة (هناك مواد في الملاحظات أكثر مما تم الإعلان عنه في المحاضرة ، في الواقع ، الملاحظات عبارة عن كتاب مدرسي كامل) ؛
• الرؤية والتفاعلية (الرسوم التوضيحية ، الصور ، العروض التوضيحية ، صور متحركة ، الكود ، مقاطع الفيديو من youtube).

إذا كنت تريد رؤية النتيجة ، فقم بإلقاء نظرة على صفحة الدورة التدريبية على GitHub .



أتمنى أن تكون مهتمًا ، شكرًا لك على اهتمامك.