ماريو ميسكولو أستاذ مساعد في قسم الهندسة الكهربائية وهندسة الحاسبات بجامعة جورج واشنطن. ماريو هو قائد المجموعة الفرعية لفريق OPEN Lab للحوسبة العصبية التي يقودها البروفيسور الدكتور فولكر ج سورجير. حصل ماريو على ماجستير في الهندسة الكهربائية وهندسة الحاسبات من بوليتكنيك تورين أثناء عمله كباحث في جامعة هارفارد / معهد ماساتشوستس للتكنولوجيا. دافع عن أطروحة الدكتوراه في الإلكترونيات الضوئية في جامعة جنوة في المعهد الإيطالي للتكنولوجيا ، أثناء عمله كمساعد باحث في مسبك الجزيئات في المختبر الوطني. لورانس في بيركلي. تمتد اهتماماته إلى العلوم والهندسة ، بما في ذلك البصريات النانوية وتفاعلات المادة الخفيفة ، والأسطح الخارقة ، وبصريات فورييه ، والحوسبة العصبية الضوئية.
يقترح المؤلفون أنه نتيجة لهذا النهج ، يمكن أن يكون أداء معالجة تدفقات البيانات الضوئية أعلى بمقدار 2-3 مرات من أداء وحدة معالجة الرسومات. يعتقد المؤلفون أيضًا أن المعالجات الضوئية يمكن أن تعمل بشكل جيد للغاية على الأجهزة الطرفية في شبكات 5G.
— , (OPEN) . , .
, , - . — , , PMAC/s . , (PECASE), AFOSR , . - , OSA , OSA , SPIE . - IEEE, OSA SPIE.
في النهج الذي تم فحصه ، يقوم قلب موتر الفوتون بمضاعفات المصفوفة بالتوازي ، وبالتالي تحسين سرعة وكفاءة التعلم العميق. يتم تعليم الشبكات العصبية كيفية تعلم كيفية تنفيذ قرارات غير خاضعة للرقابة وبناء تصنيف للبيانات غير المرئية. بمجرد تدريب الشبكة العصبية على العمل مع البيانات ، يمكن أن تستنتج التعرف على الكائنات والأنماط وتصنيفها والعثور على توقيع في البيانات.
يقوم المعالج الفوتوني TPU بتخزين البيانات ومعالجتها بالتوازي باستخدام اتصال كهربائي بصري يمكنه قراءة وكتابة الذاكرة الضوئية بكفاءة ، بينما يتفاعل Photonic TPU مع بنى أخرى.
"لقد وجدنا أن المنصات الضوئية ذات الذاكرة الضوئية المدمجة يمكن أن تؤدي نفس العمليات مثل معالجات التنسور. في نفس الوقت ، يستهلكون طاقة أقل ويكونون أكثر إنتاجية. قال ماريو ميسكولو ، أحد المطورين ، "يمكن استخدامها لإجراء عمليات حسابية بسرعة الضوء".
تفكك معظم الشبكات العصبية طبقات متعددة من الخلايا العصبية المترابطة لتقليد كيفية عمل الدماغ البشري. الطريقة الفعالة لتمثيل هذه الشبكات هي دالة مركبة تقوم بضرب المصفوفات والمتجهات معًا. يسمح هذا العرض بإجراء عمليات متوازية من خلال معماريات متخصصة في العمليات الموجهة مثل ضرب المصفوفة.
المصدر: مقال بقلم ماريو ميسكولو وفولكر سورجير.
(أ) يتكون Tensor Core (PTC) من 16 أليافًا ، والتي بطبيعتها تؤدي بشكل مستقل الضرب سطريًا وتراكم نقطة تلو الأخرى.
(ب) . WDM, (, -) . J- . , , (MRR), ( ), , , MAC.
كلما زادت صعوبة المهمة وزادت متطلبات دقة التنبؤ ، زادت تعقيد الشبكة. تتطلب هذه الشبكات كميات كبيرة من البيانات للحساب والمزيد من القدرة على معالجة تلك البيانات. المعالجات الرقمية الحديثة المناسبة للتعلم العميق ، مثل وحدات معالجة الرسومات (GPUs) أو وحدات معالجة الموتر (TPUs) ، محدودة في إجراء عمليات معقدة وعالية الدقة بسبب الطاقة المطلوبة للقيام بذلك. وأيضًا بسبب بطء نقل البيانات الإلكترونية بين المعالج والذاكرة.
أظهر مطورو ومؤلفو المقال أن أداء TPU يمكن أن يكون 2-3 مرات أعلى من أداء TPU الكهربائي. تعد الفوتونات مثالية لشبكات الحوسبة والعمليات من عقدة إلى عقدة التي تؤدي مهام ذكية عالية السعة على حافة الشبكات مثل 5G. قد تكون إشارات البيانات من كاميرات المراقبة وأجهزة الاستشعار البصرية ومصادر أخرى في شكل فوتونات بالفعل.
وأضاف ميسكولو: "يمكن للمعالجات الضوئية المخصصة توفير كميات هائلة من الطاقة عن طريق تقليل أوقات الاستجابة والمعالجة". بالنسبة للمستخدم النهائي ، يعني هذا أنه في هذه الحالة ، تتم معالجة البيانات بشكل أسرع نظرًا لأن معظمها تتم معالجتها مسبقًا ، مما يعني أنه يمكن إرسال بعض البيانات فقط إلى السحابة أو مركز البيانات.
نهج جديد لنقل البيانات الضوئية والكهربائية
تقدم هذه المقالة مثالاً لاختيار طريق بصري لأداء مهام التعلم الآلي. في معظم الشبكات العصبية (NNs) ، التي تعرض طبقات متعددة من الخلايا العصبية / العقد المترابطة ، تعتبر كل خلية عصبية وطبقة ، بالإضافة إلى اتصالات الشبكة نفسها ، مهمة للمهمة التي تم تدريب الشبكة فيها. في الطبقة المتصلة قيد الدراسة ، تعتمد الشبكات العصبية بشكل كبير على العمليات الرياضية لمصفوفة المتجهات التي يتم فيها مضاعفة المصفوفات الكبيرة لبيانات الإدخال والأوزان وفقًا لعملية التعلم. تتطلب الشبكات العصبية العميقة متعددة الطبقات المعقدة نطاقًا تردديًا كبيرًا وزمن انتقال منخفضًا لتلبية العمليات المطلوبة لإجراء مضاعفة كبيرة للمصفوفة دون التضحية بالكفاءة والسرعة.
كيف يمكنك مضاعفة هذه المصفوفات بشكل فعال؟ في المعالجات ذات الأغراض العامة ، يتم تنفيذ عمليات المصفوفة بشكل تسلسلي ، مما يتطلب وصولاً ثابتًا إلى ذاكرة التخزين المؤقت ، مما يخلق عنق الزجاجة في بنية فون نيومان. تساعد البنى المتخصصة مثل GPUs و TPU على التخفيف من هذه الاختناقات من خلال تمكين بعض نماذج التعلم الآلي القوية.
تعد وحدات معالجة الرسومات (GPU) و (TPU) مفيدة بشكل خاص على وحدات المعالجة المركزية (CPU). ولكن عندما يتم استخدامها لتدريب الشبكات العصبية العميقة ، وإجراء الاستدلال لمجموعات البيانات الكبيرة ثنائية الأبعاد مثل الصور ، فإنها يمكن أن تستهلك الكثير من الطاقة وتتطلب وقتًا أطول للحساب (أكثر من عشرات المللي ثانية). لا يزال ضرب المصفوفة لمهام الاستدلال الأقل تعقيدًا يعاني من مشكلات زمن الوصول ، ويرجع ذلك أساسًا إلى قيود الوصول إلى التسلسلات الهرمية المختلفة للذاكرة ووقت الاستجابة لكل تعليمة في وحدة معالجة الرسومات.
يقترح المؤلفون أنه في ضوء هذا السياق ، من الضروري استكشاف وإعادة اختراع النماذج التشغيلية لمنصات الحوسبة المنطقية الحديثة التي يعتمد فيها جبر المصفوفة على الوصول المستمر للذاكرة. في هذا الصدد ، يمكن أن تلعب الطبيعة الموجية للضوء والعمليات المتأصلة المرتبطة بها مثل التداخل والانعراج دورًا مهمًا في زيادة الإنتاجية الحسابية مع تقليل استهلاك الطاقة للمنصات العصبية.
يتوقع المطورون أن التقنيات المستقبلية يجب أن تؤدي مهام حسابية في مجال مدخلاتهم المتغيرة بمرور الوقت باستخدام العمليات المادية الخاصة بهم. من وجهة النظر هذه ، تعد الفوتونات مثالية لعمليات حساب الشبكات الموزعة ، وأداء المهام الذكية على البيانات الضخمة عند حافة الشبكة (على سبيل المثال ، 5G) ، حيث يمكن أن توجد إشارات البيانات بالفعل في شكل فوتونات (على سبيل المثال ، كاميرا مراقبة بالفيديو ، جهاز استشعار بصري ، إلخ.) .) ، وبالتالي التصفية المسبقة والضبط الذكي لمقدار حركة البيانات المسموح بتوجيهها نحو مراكز البيانات وأنظمة السحابة.
هذا هو المكان الذي يقومون فيه بتفكيك نهج جديد باستخدام نواة الموتر الضوئية (PTC) القادرة على إجراء الضرب والتراكم لمصفوفات 4x4 مع نواة مدربة في خطوة واحدة (أي ليس بشكل تكراري) ؛ بمعنى آخر ، بعد التدريب ، يتم تخزين أوزان الشبكة العصبية في ذاكرة فوتونية متعددة المستويات 4 بت ، يتم تنفيذها مباشرة على الشريحة ، دون الحاجة إلى دوائر كهربائية ضوئية إضافية أو ذاكرة وصول عشوائي ديناميكية (DRAM). تحتوي الذكريات الضوئية على دوائر فوتونية نانوية منخفضة الخسارة ومتغيرة الطور تعتمد على موصلات G2Sb2Se5 المودعة على دليل موجي مستوٍ يمكن تحديثه عن طريق التبديل الكهروحراري ، وبالتالي تكون قادرة على القراءة بصريًا بالكامل.يتم إجراء التحويل الكهروحراري باستخدام أقطاب تسخين التنغستن التي تتفاعل مع مستشعر ذاكرة تغيير الطور (PCM).
الطاولة. مقارنة أداء حبات الموتر.
المصدر: مقال بقلم ماريو ميسكولو وفولكر سورجير.
يوفر Tensor Core (PTC) الذي يتم تغذيته إلكترونيًا (العمود الأيسر) زيادة 2-8x في الإنتاجية مقارنةً بـ Nvidia's T4 و A100 ، وبالنسبة للبيانات الضوئية (مثل الكاميرا) ، يكون التكبير حوالي 60x (المنطقة) تقتصر الدائرة المصغرة على بلورة واحدة (~ 800 مم 2).
أظهرت الاختبارات أن أداء الرقائق الضوئية أعلى بمرتين إلى ثلاث مرات من تلك الموجودة في السوق اليوم. يمكن أن تصل سرعة معالجة البيانات فيها إلى بيتافلوبين في الثانية ، بينما تستهلك حوالي 80 واط من الطاقة ، منها 95٪ سيتم إنفاقها على صيانة الشريحة ، و 5٪ فقط على الحسابات.
يؤكد مؤلفو المقال أن هذا العمل يمثل النهج الأول لتنفيذ معالج الفوتون الموتر الذي يخزن البيانات ويعالجها بالتوازي. يمكن لمثل هذا المعالج قياس عدد عمليات التراكم المضاعف (MAC) بعدة أوامر من حيث الحجم ، وفي نفس الوقت يقلل بشكل كبير من استهلاك الطاقة ووقت الاستجابة مقارنةً بمسرعات الأجهزة الحالية ، فضلاً عن توفير تحليلات في الوقت الفعلي.
على عكس الإلكترونيات الرقمية ، التي تعتمد على البوابات المنطقية ، في الضوئيات المتكاملة ، تتراكم وتتراكم والعديد من العمليات الجبرية الخطية الأخرى يمكن إجراؤها بدون تكرارات ، مع الاستفادة من التوازي المتأصل الذي توفره الطبيعة الكهرومغناطيسية لإشارات المادة الضوئية. في هذا الصدد ، تعد الضوئيات المتكاملة منصة مثالية لعرض عمليات معقدة محددة في الأجهزة.