هذا هو أحد الاستخدامات العديدة لوحدات البكسل التعبيرية . منصة تطوير Windows 10 التي تتيح لك إنشاء عروض متحركة متاحة الآن مجانًا في متجر Microsoft. بالإضافة إلى التطبيق ، فإنه يحتوي على مجموعة من البرامج ، والتي بفضلها يمكنك استخدام شاشات LED للاتصال باستخدام المؤثرات المرئية أو الرموز التعبيرية.
كل هذا يوسع إمكانيات التواصل غير اللفظي ، ويفتح طرقًا جديدة للمطورين لاستخدامها بشكل خلاق من خلال واجهة برمجة التطبيقات مفتوحة المصدر ، ويقلل من حاجز دخول المبرمجين والمصممين والباحثين الطموحين
تعمل Expressive Pixels أيضًا كنقطة انطلاق للهواة أو للمبرمجين الأكثر خبرة ، مما يسمح لهم بإنشاء إبداعات جديدة دون الحاجة إلى معرفة كيفية برمجة الرسوم المتحركة والصور على الأجهزة الصغيرة - هناك مكتبة مخصصة لذلك.
بغض النظر عن المكان الذي تعمل فيه أو تدرس أو تتواصل مع الآخرين ، تقدم Expressive Pixels طريقة متحركة لإضفاء الطابع الشخصي على مساحتك وتضخيم وجودك ، تمامًا مثل الصور والهدايا التذكارية ومختلف الأدوات اليدوية.
"إننا نولي الكثير من الاهتمام للوظائف اليومية الأساسية ، ولكن عندما تفكر فيما يجعلنا بشرًا ، فهذه المشاعر. قال بيرنيس يو ، المدير العام والاستراتيجية والمشاريع ، Microsoft Small، Medium & Corporate Business ، "نريد التعبير عن مشاعرنا والبقاء على اتصال مع بعضنا البعض". إنها جزء من فريق مشروع Expressive Pixels وقد ساهمت كثيرًا في إصدار Eyes First لعام 2019 ، والذي يستخدم Windows 10 Eye Control ، وهي ميزة وصول أساسية للأشخاص الذين يعانون من إعاقات في الرؤية والحركة. "من الرائع أن تكون منتجًا ، لكننا جميعًا نريد أن نكون بشرًا. هذه حاجة مصونة ".
تعتمد Expressive Pixels على سنوات من التعاون العميق والمثمر بين Microsoft مع Enable Group والأشخاص الذين يعانون من ضعف شديد في البصر والحركة. الغرض من هذا العمل هو محاولة فهم تفضيلات هؤلاء الأشخاص واحتياجاتهم ومشاكلهم الناشئة في التواصل والتفاعل مع الآخرين ، في التعبير الإبداعي عن الذات وتحديد الهوية ، وكذلك لتوسيع قدرات أجهزة الاتصال المعزز والبديل التقليدية (AAC) بأحدث وظائف للاتصال غير اللفظي والتعبير عن الذات وبث الإشارات الاجتماعية وحالة الجهاز. لا تقتصر
أمثلة
التواصل عبر وحدات البكسل على ما تكتبه وتقوله. جزء كبير من هذا هو عملية غير لفظية تتضمن معرفة متى يحين دورك في التحدث.
هاريش كولكارني
يقول هاريش كولكارني ، المدير الفني لفريق أطر عمل الذكاء الاصطناعي في السحابة ومجموعة Microsoft Cloud و AI: "يمكن استخدام الحل في الحالات الخطيرة ، أو كطريقة إبداعية ممتعة لإخبار شيء عن نفسك". لقد كان عضوًا في فريق Enable لعدة سنوات وقد فعل الكثير لدمج Eye Control في Windows 10.
وعلى طول الطريق ، تبنى الفريق أكثر الابتكارات غير المتوقعة ، وتغلب على العقبات بأفكار جديدة ، مستوحاة من الفوائد التي يمكن أن تقدمها التكنولوجيا للناس.
عندما أدرك المطورون أنهم بحاجة إلى عامل شكل يمكن رؤيته بسهولة من أي مكان في الغرفة وفي أي إضاءة ، تحولوا إلى شاشات LED سهلة الاستخدام مقدمة من جهات تصنيع خارجية مثل Sparkfun و Adafruit و Silicon Squared Displays. هي أجهزة مخصصة الكل في واحد مصممة لحل مشكلات الدقة والاتصال والتخزين والرسوم المتحركة بواسطة المهندس الوحيد في فريق Expressive Pixels ، Gavin Jahnke). ومع ذلك ، يمكن استخدام Expressive Pixels بدون شاشة LED أو أي جهاز آخر عن طريق إدخال صور GIF متحركة في رسائل البريد الإلكتروني.
ثم ظهرت مشكلة أخرى: تطوير برمجيات تجعل من السهل عرض الرسوم المتحركة على شاشات العرض. مرة أخرى ، قبل Jahnke التحدي وأنشأ برنامجًا ثابتًا يشكّل ، جنبًا إلى جنب مع تطبيق التطوير ، نظامًا أساسيًا يمكن تشغيله على أجهزة متعددة. باستخدام هذه البرامج الثابتة ، يمكن للمصنعين استخدام أو توسيع جوانب معينة. يمكن لمنشئي المحتوى مشاركة رسوماتهم المتحركة الأصلية في Cloud Gallery للتطبيق.
لعب Jahnke دورًا أساسيًا في تطوير هذه العناصر الرئيسية لـ Expressive Pixels - كل ذلك في وقت فراغه ، خارج الوظيفة الرئيسية.
عرض مربع السيليكون: النماذج الأولية وتطور العرض
كان الإصدار الأول من الجهاز عبارة عن شاشة عرض بسيطة تبلغ 16 بكسل مرتبة في دائرة. لعمل هذا النموذج الأولي ، تم استخدام قاطع - تم قطع قطع دائرية من مادة نصف شفافة ، والتي غطت شاشات العرض من أجل نشر الضوء الساطع من مصابيح LED.
"عادةً ، عندما أفعل شيئًا ما ، أصنع طبقًا ملكيًا منه ،" يمزح Jahnke ، المدير العام لتطوير Microsoft Research. لكنه يصبح جادًا ويضيف: "رسالتي هي مساعدة تلك الشرائح من السكان والمجتمعات التي لا تتلقى الخدمة المناسبة ، لمنحهم ما لا يتوفر لهم بسبب قدراتهم التقنية ، ولكن في حدود إمكانياتي الفنية".
Jahnke هو جاك لجميع المهن ، وقد اكتسب مهارات جديدة ، بما في ذلك مجال الهندسة الكهربائية ، على مدى السنوات الثلاث المخصصة للمشروع. على طول الطريق ، أنشأ فئة جديدة من الأجهزة مع شاشة RGB LED ذات دقة أعلى مما كان متاحًا في السابق. اكتشف أيضًا كيفية تزويد المستخدمين بأقصى قدر من التنقل باستخدام تقنية Bluetooth والآليات المختلفة لتشغيل الرسوم المتحركة ، مثل المفاتيح أو إشارات الموسيقى MIDI.
"الأمر المثير للاهتمام حقًا هو العواقب غير المقصودة للخروج من منطقة الراحة الخاصة بك وتعلم شيء جديد" ، كما يقول. "تحصل على أفكار وقدرات مذهلة."
اجتماع فريق Expressive Pixels في Microsoft Teams في وضع Together Mode. الصف الخلفي (من اليسار إلى اليمين): Anne Paradiso ، Bernice Y. الصف الثاني من الأعلى (من اليسار إلى اليمين): Noel Sophie ، Gavin Yanke ، Jarnael Chaj. الصف الثالث من الأعلى: Duane Lamb ، Stacey Stutz. الصف السفلي: كريستوفر اود.
بدأت رحلة Expressive Pixels منذ أكثر من خمس سنوات مع اهتمام Enable Group بتحسين أجهزة الاتصال المعزز والبديل (AAC) ، والتي عادةً ما تكون باهظة الثمن لأنها جزء من السوق الطبية.
وحدات بكسل معبرة عبر الأجهزة.
تولت آن باراديسو ، مديرة التطوير ، زمام المبادرة في هذا الجهد ، حيث أرادت توجيه طاقاتها لخدمة الآخرين. عملت مع فريق Jahnke في Microsoft Research قبل الانضمام إلى Enable Group ، ولم ترفض Jahnke مساعدتها ، خاصة وأن المشروع كان يكتسب زخمًا.
لقد عملوا أولاً مع لاعب اتحاد كرة القدم الأميركي السابق ستيف جليسون ، الذي ألهم البحث وحفزه بعد أن تم تشخيصه بمرض التصلب الجانبي الضموري (التصلب الجانبي الضموري). بينما كان جليسون بارعًا في استخدام تقنية تتبع العين ، إلا أنه لا يزال يجد صعوبة في التواصل عند ظهور مشاكل فنية وكان عليه أن ينظر إلى الشاشة بدلاً من الشخص الذي يحاول التواصل معه.
"عند التحدث إلى شخص لا يتحكم إلا بأعينه في جهاز صوتي ، ستلاحظ أن وتيرة المحادثة أبطأ بكثير مقارنة بالكلام العادي. غالبًا ما تكون المحادثات عبر AAC أبطأ من 12 إلى 25 مرة ، حتى مع تحسين الدقة التنبؤية والتعرف على حركة العين ، كما يقول باراديسو. "لذلك نلاحظ في كثير من الأحيان كيف أن المحاور إما لا يمكنه تحمل الصمت الطويل ، أو أنه لا يستطيع أن يفهم أنه يعد إجابة له ، ويستمر في الكلام ، وأن الشخص الذي يعاني من إعاقة في الكلام يُترك دون فرصة للتحدث."
أدى ذلك إلى إجراء بحث يركز على المستخدم يشمل الأشخاص المصابين بمرض التصلب الجانبي الضموري وأسرهم. قابلت باراديسو وموظفوها بانتظام ، ورافقوهم إلى المواعيد مع الأطباء ، ولاحظوا تفاعلهم مع أطباء الأعصاب ومعالجي النطق وأخصائيي العلاج الطبيعي وغيرهم الكثير. عقدت الاجتماعات في كل من المنزل وفي مختبرات مايكروسوفت. سمحت الثقة الناتجة للباحثين بالتعرف حقًا على النظام البيئي حول الأشخاص ذوي الإعاقة ، والتعرف على أنظمة الدعم ومواقف أفراد الأسرة ، وفحص المعدات ، ومعرفة ما يصلح وما لا يصلح.
سرعان ما أدركنا أن تحسين شاشات LED للتواصل القائم على الرموز التعبيرية كان فرصة رائعة.
آن باراديسو
"الرموز التعبيرية موجودة بالفعل في كل مكان في منصات الاتصال الرقمية ، بما في ذلك الرسائل النصية والبريد الإلكتروني ووسائل التواصل الاجتماعي. يتخذون إجراءات أقل للتعبير عن النية أو السياق أو الحالة المزاجية. يمكن أن يؤدي رمز تعبيري واحد إلى تغيير أو تحسين إدراك الرسالة بشكل كبير. نعتقد أنه يمكن استخدامها كوسيط تعبيري إضافي للأشخاص غير القادرين على التحدث أو التحكم في العضلات المسؤولة عن تعابير الوجه ، كما يقول باراديسو. - الأشخاص المصابون بمرض التصلب الجانبي الضموري الذين يعملون معنا هم من أكثر الأشخاص المضحكة والأكثر تفكيرًا وإبداعًا الذين أعرفهم ، لكن الفرص المتاحة لهم للتعبير عن أفكارهم محدودة بسبب إعاقات وعيوب أجهزة الصوت المتاحة والتقنيات التي تقوم عليها. نعلم،أن الناس يريدون التعبير عن الكثير باستخدام أجهزتهم AAC ، وليس مجرد التواصل بعبارات بسيطة. أردنا إنشاء شيء من شأنه أن يساعد الأشخاص على المشاركة بنشاط أكبر في المحادثات ، ويكون مرئيًا في الإضاءة الخافتة ومن مسافة بعيدة ، وسيوفر أيضًا فرصة أخرى للتعبير والتواصل ونقل المشاعر بشكل فريد ".
جرب المطورون العديد من الشاشات الإضافية ، لكنهم عادوا إلى شاشات LED لعدة أسباب: فهي غير مكلفة ، وتعمل بشكل جيد إلى حد معقول ، وهي "رائعة". أوضح الأشخاص المصابون بمرض التصلب الجانبي الضموري في البحث أيضًا أنهم لا يريدون استخدام أي شيء قد يكون له عواقب اجتماعية سلبية غير مقصودة للمستخدمين.
قال دوان لامب ، المطوّر الذي انضم إلى Enable Group في أوائل عام 2017 ، الذي أنشأ: "مراقبة وتمكين الأشخاص الذين يعيشون مع ALS حتى يتمكنوا من فعل ما لم يأملوه مطلقًا هو دافع كافٍ للعمل الجاد". واجهة المستخدم وواجهة المستخدم. - في أغلب الأحيان ، عندما تتحدث إلى شخص لا يمكنه التواصل إلا بأعينه ، يقوم هذا الشخص بإدخال نص أثناء النظر إلى لوحة مفاتيح الجهاز أمامه. وأنت ، على الرغم من أن هذا شكل سيء ، من وجهة نظر آداب السلوك الاجتماعي ، عادة ما تنظر من فوق كتف المحاور في محاولة لمعرفة ما يكتبه ".
يرجع ظهور Expressive Pixels جزئيًا إلى الرغبة في حل هذه المشكلة.
Emoji في تطبيق Expressive Pixels
قال كريستوفر أودود ، الذي ساعد في سد فجوات الأجهزة في المشروع ، إنه يمكن استخدام وحدات البكسل التعبيرية لتحريك العروض بأحجام مختلفة ، حتى 64 × 64 بكسل. أشار O'Dowd إلى أن شاشات LED موجودة في كل مكان في Maker Faire ، وفي المنازل أثناء العطلات وفي العديد من المناسبات الأخرى. تعد شاشات LED متعددة الاستخدامات لدرجة أنه يمكن العثور عليها غالبًا حتى على القماش (مثل الأقنعة والقبعات وحقائب الظهر) أو اللافتات.
كان أحد التطبيقات الأولى لشاشات LED من قبل فريق Expressive Pixels هو مشروع SXSW Music without Hands الحائز على جائزة.
في هذا المشروع ، تم استخدام مصفوفة LED مصممة خصيصًا مع دعم midi ومزامنة الموسيقى. كانت أداة تصور اختيارية لمجموعة طبول مادية يتم التحكم فيها بالعين ومصممة لأحد أعضاء Expressive Pixels ، وهو موسيقي من سياتل يعيش مع ALS. الحائز على جائزة SXSW للابتكار التفاعلي لعام 2018: ابتكار الموسيقى والصوت ، يتضمن المشروع مجموعة من التطبيقات الجديدة الموجهة بالعين لتأليف الموسيقى وأداءها والتعاون.
"كيف يمكن لشخص غير قادر على الكلام والانتقال إلى تأليف أو عزف موسيقى ، أو أمر ما يحدث على المسرح أو الاتصال بجمهور حي؟ ماذا عن الأداء مع موسيقيين آخرين ، تم التدرب عليهم أو مرتجلون؟ كيف يمكننا تقليل الحواجز التي تحول دون جعل برامج الموسيقى المدرسية أكثر شمولاً ، وليس الفصل أو التقليل من مشاركة الأطفال ذوي الإعاقة؟ كنا مدفوعين بالرغبة في العثور على إجابات لهذه الأسئلة الأساسية ، - يتذكر باراديسو. "أردنا تكييف تقنيتنا وتصميمنا بحيث يتناسبان مع الأهداف الإبداعية للشخص ومواقف الحياة الحقيقية ، وليس العكس."
كان لدى Lamb فكرة إضافة دعم للواجهة الرقمية للآلات الموسيقية (MIDI) لإرسال إشارات مختلفة إلى أدوات مختلفة ، وتم نقل هذه الفكرة لاحقًا إلى Expressive Pixels.
يقول Paradiso: "في كل مرة عملنا فيها على هدف جديد ، قمنا بنقل المنصة إلى أبعد من ذلك.
منصة Expressive Pixels مفتوحة لمجموعة واسعة من المبدعين. هذا ليس فقط مجتمع مطورين ، ولكن أيضًا الطلاب الذين يمكنهم تطوير مشاريع لمساعدة الآخرين وتعلم JavaScript باستخدام Microsoft MakeCode . وفقًا لـ Jahnke ، عادةً ما تحتوي MakeCodes على عدد صغير جدًا من مصابيح LED ، لذا فإن إمكانات العرض الكاملة تفتح مجالًا كبيرًا للطلاب لإنشاء وتجريب وبرمجة شيء مثل شاشات Silicon Squared المتصلة بأداة MakeCode.
يقول Jahnke: "تمنح Expressive Pixels للطلاب طريقة سهلة لدمج الرسوم المتحركة داخل التطبيق في برامج MakeCode الخاصة بهم وإبداعات الأجهزة بأقل جهد ممكن".
سيعرف التطبيق نفسه الرسوم المتحركة المخزنة على الجهاز ، لذا فإن الأوامر المختلفة ستجعله يتفاعل وفقًا لذلك.
أعاد هذا المشروع وغيره من مشاريع Enable في Paradiso إحياء شغفها بالشركة التي عملت معها منذ ما يقرب من 20 عامًا.
"يجتمع الكثير من الأشخاص معًا ، ويقضي الكثيرون وقتهم الشخصي في العمل من أجل شيء أكبر من كل واحد منا بمفرده - إنه يلهم قيم شركتنا ومهمتها ويتماشى معها ، ويسعدني ويمنح نأمل في مستقبل أكثر شمولاً وإبداعًا للجميع "، قال باراديسو.
Expressive Pixels.