🛫 😈 😼 التعلم الالي. الشبكات العصبية (الجزء 1): عملية التعلم المدرك ↘️ ♑️ 👩‍🚀

أريد أن أشير مقدمًا إلى أن أولئك الذين يعرفون كيف يتعلم المستوعب لن يجدوا شيئًا جديدًا في هذه المقالة. يمكنك تخطيه بأمان. لماذا قررت كتابة هذا - أود أن أكتب سلسلة من المقالات المتعلقة بالشبكات العصبية واستخدام TensorFlow.js ، لذلك لا يمكنني حذف المقتطفات النظرية العامة. لذلك أطلب منكم التعامل مع الفكرة النهائية بصبر وتفهم كبيرين.

في البرمجة الكلاسيكية ، يصف المطور في لغة برمجة معينة مجموعة معينة من القواعد المحددة بشكل صارم ، والتي تم تحديدها على أساس معرفته في مجال موضوع معين والتي ، كتقريب أولي ، تصف العمليات التي تحدث في الدماغ البشري عند حل مشكلة مماثلة.

على سبيل المثال ، يمكن برمجة إستراتيجية لعب tic-tac-toe والشطرنج والمزيد (الشكل 1).

الشكل 1 - النهج الكلاسيكي لحل المشكلات في

حين أن خوارزميات التعلم الآلي يمكن أن تحدد مجموعة من القواعد لحل المشكلات دون مشاركة المطور ، ولكن بناءً على توفر مجموعة بيانات تدريبية فقط.

مجموعة التدريب هي نوع من مجموعة المدخلات المرتبطة بمجموعة من النتائج المتوقعة (الاستجابات والمخرجات). في كل خطوة من خطوات التدريب ، سيعمل النموذج ، عن طريق تغيير الحالة الداخلية ، على تحسين وتقليل الخطأ بين الناتج الفعلي للنموذج والنتيجة المتوقعة (الشكل 2).

الشكل 2 - التعلم الآلي

الشبكات العصبية

لفترة طويلة ، حاول العلماء ، بإلهام من العمليات التي تحدث في دماغنا ، إعادة هندسة الجهاز العصبي المركزي ومحاولة تقليد عمل الدماغ البشري. بفضل هذا ، وُلد اتجاه كامل في التعلم الآلي - الشبكات العصبية.

في الشكل 3 ، يمكنك رؤية أوجه التشابه بين تصميم الخلايا العصبية البيولوجية والتمثيل الرياضي للخلايا العصبية المستخدمة في التعلم الآلي.

الشكل 3 - التمثيل الرياضي للخلايا العصبية

في الخلايا العصبية البيولوجية ، تستقبل الخلية العصبية إشارات كهربائية من التشعبات ، وتقوم بتعديل الإشارات الكهربائية بنقاط قوة مختلفة ، والتي يمكن أن تثير العصبون عند الوصول إلى قيمة عتبة معينة ، والتي بدورها ستؤدي إلى إرسال إشارة كهربائية إلى الخلايا العصبية الأخرى من خلال المشابك.

بيرسبترون

نموذج رياضي لشبكة عصبية تتكون من خلية عصبية واحدة تقوم بعمليتين متتاليتين (الشكل 4):

يحسب مجموع إشارات الإدخال مع مراعاة أوزانها (التوصيل أو المقاومة) للاتصال
${s u m = \vec{X}}^{T} \vec{W} + \vec{B} = \sum_{i = 1}^{n} x_{i} w_{i} + b$
${sum=\ \vec{X}}^T\vec{W}+\vec{B}=\sum_{i=1}^{n}{x_iw_i}+b$
يطبق وظيفة التنشيط على المجموع الكلي لإشارات الدخل.
$o u t = φ (s u m)$
$out=\varphi(sum)$

الشكل 4 - نموذج رياضي للإدراك الحسي

يمكن استخدام أي وظيفة قابلة للتفاضل كوظيفة تنشيط ، وتظهر الوظائف الأكثر استخدامًا في الجدول 1. يقع اختيار وظيفة التنشيط على أكتاف المهندس ، وعادةً ما يعتمد هذا الاختيار إما على الخبرة الحالية في حل المشكلات المماثلة ، حسنًا ، أو ببساطة عن طريق الطريقة اختيار.

المذكرة

– , ReLU , .

1 -


Linear function	$φ (x) = x$ $\varphi\left(x\right)=x$	.
Sigmoid function	$φ (x) = \frac{1}{1 + e^{- x}}$ $\varphi\left(x\right)=\frac{1}{1+e^{-x}}$
Softmax function	$φ (x_{j}) = \frac{e^{x_{j}}}{\sum_{i} e^{x_{i}}}$ $\varphi\left(x_j\right)=\frac{e^{x_j}}{\sum_{i} e^{x_i}}$	$φ ([\begin{matrix} 1.2 \\ 0.9 \\ 0.4 \end{matrix}]) = [\begin{matrix} 0.46 \\ 0.34 \\ 0.20 \end{matrix}]$ $\varphi \left ( \begin{bmatrix} 1.2\\ 0.9\\ 0.4 \end{bmatrix} \right ) = \begin{bmatrix} 0.46\\ 0.34\\ 0.20 \end{bmatrix}$ ( 2)
Hyperbolic Tangent function	$φ (x) = \frac{e^{x} - e^{- x}}{e^{x} - e^{- x}}$ $\varphi\left(x\right)=\frac{e^x-e^{-x}}{e^x-e^{-x}}$	[-1, 1]. , ,
Rectified Linear Unit (ReLU)	$φ (x) = max (0, x)$ $\varphi\left(x\right)=\max(0,x)$	, , sigmoid tanh
Leaky ReLU	$φ (x) = max (0.01 x, x)$ $\varphi\left(x\right)=\max(0.01x,x)$	ReLU , 0

تتكون عملية التعلم من عدة خطوات. لمزيد من الوضوح ، سننظر في مشكلة خيالية معينة سنحلها بشبكة عصبية تتكون من خلية عصبية واحدة مع وظيفة تنشيط خطية (هذا في الأساس محسوس بدون وظيفة تنشيط على الإطلاق) ، ولتبسيط المهمة ، سنستبعد عقدة الإزاحة ب في الخلية العصبية (الشكل 5) ...

الشكل 5 - مجموعة بيانات التدريب وحالة الشبكة العصبية في الخطوة السابقة من التدريب

في هذه المرحلة ، لدينا شبكة عصبية في حالة معينة بأوزان اتصال معينة تم حسابها في المرحلة السابقة من تدريب النموذج ، أو إذا كان هذا هو التكرار الأول للتدريب ، فسيتم تحديد قيم أوزان الاتصال في ترتيب عشوائي.

لذلك ، دعونا نتخيل أن لدينا مجموعة من بيانات التدريب ، يتم تمثيل قيم كل عنصر من المجموعة بواسطة ناقل بيانات الإدخال (بيانات الإدخال) ، تحتوي على معلمتين (ميزة)

x_{1}, x_{2}

$x_1,x_2$ ... تحت

x_{1}, x_{2}

$x_1,x_2$ في النموذج ، اعتمادًا على مجال الموضوع قيد الدراسة ، يمكن الإشارة إلى أي شيء: عدد الغرف في المنزل ، أو المسافة بين المنزل والبحر ، أو أننا نحاول فقط تدريب الشبكة العصبية على العملية المنطقية AND ، أو OR.

يتم تعيين كل متجه إدخال في مجموعة التدريب إلى متجه إخراج متوقع. في هذه الحالة ، يحتوي متجه بيانات الإخراج على معلمة واحدة فقط ، والتي ، مرة أخرى ، اعتمادًا على مجال الموضوع المحدد ، يمكن أن تعني أي شيء - سعر المنزل ، نتيجة تنفيذ عملية منطقية AND أو OR.

الخطوة 1 - عملية التغذية إلى الأمام

في هذه الخطوة ، نحسب مجموع إشارات الإدخال مع مراعاة وزن كل سند ونطبق وظيفة التنشيط (في حالتنا ، لا توجد وظيفة تنشيط). لنقم بحسابات العنصر الأول في مجموعة التدريب:

y_{p r e d i c t e d} = \sum_{i = 1}^{n} x_{i} w_{i} = 1 \cdot 0.1 + 0.5 \cdot 0.2 = 0.2

$y_{predicted}=\sum_{i=1}^{n}{x_iw_i}=1\cdot0.1+0.5\cdot0.2=0.2$

الشكل 6 - الانتشار الأمامي للخطأ

يرجى ملاحظة أن الصيغة أعلاه هي معادلة رياضية مبسطة للحالة الخاصة لعمليات التنسور.

الموتر هو في الأساس حاوية بيانات يمكن أن تحتوي على محاور N وعدد عشوائي من العناصر على طول كل محور. معظم الموترات على دراية بالرياضيات - المتجهات (موتر بمحور واحد) ، المصفوفات (موتر بمحورين - صفوف ، أعمدة).

يمكن كتابة الصيغة بالشكل التالي ، حيث سترى المصفوفات المألوفة (الموترات) ومضاعفتها ، وأيضًا فهم نوع التبسيط الذي تمت مناقشته أعلاه:

{\vec{Y}}_{p r e d i c t e d} = {\vec{X}}^{T} \vec{W} = {[\begin{matrix} x_{1} \\ x_{2} \end{matrix}]}^{T} \cdot [\begin{matrix} w_{1} \\ w_{2} \end{matrix}] = [\begin{matrix} x_{1} & x_{2} \end{matrix}] \cdot [\begin{matrix} w_{1} \\ w_{2} \end{matrix}] = [x_{1} w_{1} + x_{2} w_{2}]

${\vec{Y}}_{predicted}=\ {\vec{X}}^T\vec{W}=\left[\begin{matrix}x_1\\x_2\\\end{matrix}\right]^T\cdot \left [ \begin{matrix} w_1\\ w_2 \end{matrix} \right ]=\left [ \begin{matrix} x_1 & x_2 \end{matrix} \right ] \cdot \left [ \begin{matrix} w_1\\ w_2 \end{matrix} \right ] =\left [ x_1w_1+x_2w_2 \right ]$

الخطوة 2 - حساب

دالة الخطأ وظيفة الخطأ هي مقياس يعكس التناقض بين المخرجات المتوقعة والمستلمة. يتم استخدام وظائف الخطأ التالية بشكل شائع:

- متوسط الخطأ التربيعي (MSE) - وظيفة الخطأ هذه حساسة بشكل خاص للقيم المتطرفة في مجموعة التدريب ، نظرًا لأنها تستخدم مربع الاختلاف بين القيم الفعلية والمتوقعة (القيمة الخارجية هي قيمة بعيدة جدًا عن القيم الأخرى في مجموعة البيانات ، والتي يمكن أن تظهر أحيانًا بسبب أخطاء البيانات ، مثل خلط البيانات مع وحدات قياس مختلفة أو قراءات أجهزة استشعار رديئة):

L = \frac{1}{N} \sum_{i = 1}^{N} {(y_{p r e d i c t e d (i)} - y_{e x p e c t e d (i)})}^{2}

$L=\frac{1}{N}\sum_{i=1}^{N}\left(y_{predicted(i)}-y_{expected(i)}\right)^2$

- انحراف جذر متوسط التربيع (Root MSE) - في الواقع هو نفس جذر متوسط الخطأ التربيعي في سياق الشبكات العصبية ، ولكنه يمكن أن يعكس وحدة قياس فيزيائية حقيقية ، على سبيل المثال ، إذا كانت معلمات الإخراج للشبكة العصبية في الشبكة العصبية هي سعر المنزل بالدولار ، فإن وحدة القياس سيكون متوسط الخطأ المربع هو الدولار المربع (

$^{2}

$$^2$ ) ، وبالنسبة للانحراف المعياري فهو الدولار ($) ، الذي يبسط بشكل طفيف مهمة التحليل البشري:

L = \sqrt{\frac{1}{N} \sum_{i = 1}^{N} {(y_{p r e d i c t e d (i)} - y_{e x p e c t e d (i)})}^{2}}

$L=\sqrt{\frac{1}{N}\sum_{i=1}^{N}\left(y_{predicted(i)}-y_{expected(i)}\right)^2}$

- متوسط الانحراف (متوسط الخطأ المطلق ، MAE) - على عكس القيمتين المذكورتين أعلاه ، ليس حساسًا جدًا للانبعاثات:

L = \frac{1}{N} \sum_{i = 1}^{N} | y_{p r e d i c t e d (i)} - y_{e x p e c t e d (i)} |

$L=\frac{1}{N}\sum_{i=1}^{N}\left|y_{predicted(i)}-y_{expected(i)}\right|$

- الانتروبيا المتقاطعة (الانتروبيا المتقاطعة) - الاستخدامات لمهام التصنيف:

L = - \sum_{i = 1}^{N} \sum_{j = 1}^{M} y_{e x p e c t e d (i j)} \log (y_{p r e d i c t e d (i j)})

$L=-\sum_{i=1}^{N}\sum_{j=1}^{M}{y_{expected(ij)}\log(y_{predicted(ij)})}$

أين

N

$N$ - عدد النسخ في مجموعة التدريب

M

$M$ - عدد الفصول عند حل مسائل التصنيف

y_{e x p e c t e d}

$y_{expected}$ - قيمة الانتاج المتوقعة

y_{p r e d i c t e d}

$y_{predicted}$ - قيمة المخرجات الفعلية للنموذج المدرب

بالنسبة لحالتنا الخاصة ، سوف نستخدم MSE:

L = \frac{1}{N} \sum_{i = 1}^{N} {(y_{p r e d i c t e d (i)} - y_{e x p e c t e d (i)})}^{2} = {(0.2 - 1)}^{2} = 0.64

$L=\frac{1}{N}\sum_{i=1}^{N}\left(y_{predicted(i)}-y_{expected(i)}\right)^2={(0.2-1)}^2=0.64$

الخطوة 3 - Backpropagation

الهدف من تدريب الشبكة العصبية بسيط - إنه لتقليل وظيفة الخطأ:

L \to m i n

$L\rightarrow min$

تتمثل إحدى طرق العثور على الحد الأدنى لوظيفة ما في تعديل أوزان الاتصال في الاتجاه المعاكس لمتجه التدرج في كل خطوة تالية من التعلم - طريقة نزول التدرج ، ويبدو الأمر هكذا رياضيًا:

{\vec{w}}^{(k + 1)} = {\vec{w}}^{k} - μ \nabla L ({\vec{w}}^{k})

${\vec{w}}^{(k+1)}={\vec{w}}^k-\mu\nabla L({\vec{w}}^k)$

أين

k

$k$ - التكرار k-th لتدريب الشبكة العصبية ؛

μ

$\mu$ - يتم تحديد معدل التعلم من قبل المهندس ، وعادة ما يكون 0.1 ؛ 0.01 (حول كيفية تأثير خطوة التعلم على عملية تقارب التعلم ، لاحظ بعد ذلك بقليل)

\nabla L

$\nabla L$ - انحدار دالة الخطأ

لإيجاد التدرج اللوني ، نستخدم المشتقات الجزئية فيما يتعلق بالوسيطات المخصصة

w_{1}, w_{2}

$w_1,w_2$ :

\nabla L (\vec{w}) = [\begin{matrix} \frac{\partial L}{\partial w_{1}} \\ ⋮ \\ \frac{\partial L}{\partial w_{N}} \end{matrix}]

$\nabla L\left(\vec{w}\right)=\left[\begin{matrix}\frac{\partial L}{\partial w_1}\\\vdots\\\frac{\partial L}{\partial w_N}\\\end{matrix}\right]$

في حالتنا الخاصة ، مع الأخذ في الاعتبار جميع التبسيطات ، تأخذ وظيفة الخطأ الشكل:

L (w_{1}, w_{2}) = {(y_{p r e d i c t e d} - y_{e x p e c t e d})}^{2} = {(x_{1} w_{1} + x_{2} w_{2} - y_{e x p e c t e d})}^{2} =

$L\left(w_1,w_2\right)={(y_{predicted}-y_{expected})}^2={(x_1w_1+x_2w_2-y_{expected})}^2=$

= {(1 \cdot w_{1} + 0.5 \cdot w_{2} - 1)}^{2}

$={(1\cdot w_1+0.5\cdot w_2-1)}^2$

مذكرة الصيغ المشتقة

,

$\frac{d}{d x} c = 0; c = c o n s t$
$\frac{d}{dx}c=0;c=const$
$\frac{d}{d x} [c f (x)] = c f^{'} (x); c = c o n s t$
$\frac{d}{dx}\left[cf\left(x\right)\right]=cf^\prime\left(x\right);\ c=const$
$\frac{d}{d x} x^{n} = n x^{n - 1}$
$\frac{d}{dx}x^n=nx^{n-1}$

$\frac{d}{d x} [f (x) \pm g (x)] = f^{'} (x) \pm g^{'} (x)$
$\frac{d}{dx}\left[f\left(x\right)\pm g(x)\right]=f^\prime\left(x\right)\pm g^\prime(x)$
$\frac{d}{d x} [f (x) g (x)] = f^{'} (x) g (x) + g^{'} (x) f (x)$
$\frac{d}{dx}\left[f\left(x\right)g\left(x\right)\right]=f^\prime\left(x\right)g\left(x\right)+g^\prime\left(x\right)f\left(x\right)$
$\frac{d}{d x} f (g (x)) = f^{'} (g (x)) g^{'} (x)$
$\frac{d}{dx}f\left(g\left(x\right)\right)=f^\prime(g(x))g^\prime(x)$

لنجد المشتقات الجزئية التالية:

\frac{\partial}{\partial w_{1}} {(w_{1} + 0.5 w_{2} - 1)}^{2} = 2 \cdot (w_{1} + 0.5 w_{2} - 1) \frac{\partial}{\partial w_{1}} (w_{1} + 0.5 w_{2} - 1) =

$\frac{\partial}{\partial w_1}{(w_1+0.5w_2-1)}^2=2\cdot\left(w_1+0.5w_2-1\right)\frac{\partial}{\partial w_1}\left(w_1+0.5w_2-1\right)=$

= 2 \cdot (w_{1} + 0.5 w_{2} - 1) \cdot 1 = 2 (0.1 + 0.5 \cdot 0.2 - 1) = - 1.6

$=2\cdot\left(w_1+0.5w_2-1\right)\cdot1=2\left(0.1+0.5\cdot0.2-1\right)=-1.6$

\frac{\partial}{\partial w_{2}} {(w_{1} + 0.5 w_{2} - 1)}^{2} = 2 \cdot (w_{1} + 0.5 w_{2} - 1) \frac{\partial}{\partial w_{2}} (w_{1} + 0.5 w_{2} - 1) =

$\frac{\partial}{\partial w_2}{(w_1+0.5w_2-1)}^2=2\cdot\left(w_1+0.5w_2-1\right)\frac{\partial}{\partial w_2}\left(w_1+0.5w_2-1\right)=$

= 2 \cdot (w_{1} + 0.5 w_{2} - 1) \cdot 0.5 = 2 (0.1 + 0.5 \cdot 0.2 - 1) \cdot 0.5 = - 0.8

$=2\cdot\left(w_1+0.5w_2-1\right)\cdot0.5=2\left(0.1+0.5\cdot0.2-1\right)\cdot0.5=-0.8$

ثم تكون عملية الانتشار العكسي للخطأ عبارة عن حركة على طول النموذج من المخرجات باتجاه المدخلات مع تعديل أوزان النموذج في الاتجاه المعاكس لمتجه التدرج. تحديد خطوة التعلم 0.1 (معدل التعلم) لدينا (الشكل 7):

w_{1}^{(k + 1)} = w_{1}^{(k)} - μ \frac{\partial L (w_{1}, w_{2})}{\partial w_{1}} = 0.1 - 0.1 \cdot (- 1.6) = 0.26

$w_1^{(k+1)}=w_1^{(k)}-\mu\frac{\partial L\left(w_1,w_2\right)}{\partial w_1}=0.1-0.1\cdot\left(-1.6\right)=0.26$

w_{2}^{(k + 1)} = w_{2}^{(k)} - μ \frac{\partial L (w_{1}, w_{2})}{\partial w_{2}} = 0.2 - 0.1 \cdot (- 0.8) = 0.28

$w_2^{(k+1)}=w_2^{(k)}-\mu\frac{\partial L\left(w_1,w_2\right)}{\partial w_2}=0.2-0.1\cdot\left(-0.8\right)=0.28$

الشكل 7 - الانتشار العكسي للخطأ

وهكذا ، أكملنا خطوات تدريب k + 1 للتأكد من أن الخطأ قد انخفض ، وأن الناتج من النموذج بأوزان جديدة أصبح أقرب إلى المتوقع ، وسنقوم بعملية الانتشار الأمامي للخطأ على طول النموذج بأوزان جديدة (انظر الخطوة 1) :

y_{p r e d i c t e d} = x_{1} w_{1} + x_{2} w_{2} = 1 \cdot 0.26 + 0.5 \cdot 0.28 = 0.4

$y_{predicted}=x_1w_1+x_2w_2=1\cdot0.26+0.5\cdot0.28=0.4$

كما ترى ، زادت قيمة المخرجات بمقدار 0.2 وحدة في الاتجاه الصحيح نحو النتيجة المتوقعة - واحد (1). سيكون الخطأ بعد ذلك:

L = {(0.4 - 1)}^{2} = 0.36

$L={(0.4-1)}^2=0.36$

كما ترى ، في خطوة التدريب السابقة ، كان الخطأ 0.64 ، ومع الأوزان الجديدة - 0.36 ، قمنا بتعديل النموذج في الاتجاه الصحيح.

الجزء التالي من المقالة:

التعلم الآلي. الشبكات العصبية (الجزء 2): النمذجة OR ؛ XOR مع التعلم الآلي TensorFlow.js

. الشبكات العصبية (الجزء 3) - الشبكة التلافيفية تحت المجهر. استكشاف Tensorflow.js API

التعلم الالي. الشبكات العصبية (الجزء 1): عملية التعلم المدرك

الشبكات العصبية

بيرسبترون

المذكرة

More articles: