مكالمات حوسبة AI / ML في الوقت الحقيقي
لنبدأ بأمثلة من تجربة ممارسة علوم البيانات لشركة InterSystems:
- بوابة المشتري "المحملة" متصلة بنظام توصية عبر الإنترنت. هناك إعادة هيكلة للإجراءات الترويجية على نطاق شبكة البيع بالتجزئة (على سبيل المثال ، بدلاً من الخط المسطح للإجراءات الترويجية ، سيتم الآن استخدام مصفوفة "تكتيكات القطعة"). ماذا يحدث لمحركات التوصية؟ ماذا يحدث لتقديم وتحديث البيانات إلى آلية التوصية (زاد مقدار بيانات الإدخال 25000 مرة)؟ ماذا يحدث مع تطوير التوصيات (الحاجة إلى تقليل عتبة التصفية لقواعد التوصية بمقدار ألف ضعف بسبب زيادة عددهم و "تشكيلة" ألف ضعف)؟
- يوجد نظام لرصد احتمالية حدوث عيوب في عقد المعدات. تم توصيل نظام التحكم في العمليات بنظام المراقبة ، حيث ينقل آلاف المعلمات للعملية التكنولوجية كل ثانية. ماذا يحدث لنظام المراقبة الذي كان يعمل على "العينات اليدوية" (هل هو قادر على توفير مراقبة كل ثانية للاحتمالات)؟ ماذا سيحدث إذا ظهرت كتلة جديدة من عدة مئات من الأعمدة في بيانات الإدخال مع قراءات أجهزة الاستشعار التي تمت إضافتها مؤخرًا إلى نظام التحكم في العملية (هل سيكون من الضروري وإلى متى يتم إيقاف نظام المراقبة لتضمين بيانات من أجهزة استشعار جديدة في التحليل)؟
- تم إنشاء مجموعة من آليات الذكاء الاصطناعي / تعلم الآلة (التوصية والمراقبة والتنبؤ) ، باستخدام نتائج عمل كل منهما. كم عدد ساعات العمل المطلوبة شهريًا لتكييف تشغيل هذا المجمع مع التغييرات في بيانات الإدخال؟ ما هو "التباطؤ" العام بدعم من المركب في اتخاذ قرارات الإدارة (تكرار حدوث معلومات داعمة جديدة فيه فيما يتعلق بتكرار حدوث بيانات إدخال جديدة)؟
بتلخيص هذه الأمثلة والعديد من الأمثلة الأخرى ، توصلنا إلى صياغة التحديات التي تنشأ في الانتقال إلى استخدام آليات التعلم الآلي والذكاء الاصطناعي في الوقت الفعلي:
- هل نحن راضون عن سرعة الإنشاء والتكيف (مع الوضع المتغير) لتطورات الذكاء الاصطناعي / تعلم الآلة في شركتنا؟
- إلى أي مدى تدعم حلول AI / ML التي نستخدمها إدارة الأعمال في الوقت الفعلي؟
- هل حلول الذكاء الاصطناعي / التعلم الآلي التي نستخدمها قادرة على التكيف بشكل مستقل (بدون مطورين) مع التغييرات في البيانات وفي ممارسة إدارة الأعمال؟
مقالنا هو نظرة عامة مفصلة على قدرات منصة InterSystems IRIS من حيث الدعم العالمي لنشر آليات الذكاء الاصطناعي / تعلم الآلة ، وتجميع (دمج) حلول الذكاء الاصطناعي / التعلم الآلي والتدريب (اختبار) حلول الذكاء الاصطناعي / التعلم الآلي على تدفقات البيانات المكثفة. سننتقل إلى أبحاث السوق ، والأمثلة العملية لحلول الذكاء الاصطناعي / تعلم الآلة ، والجوانب المفاهيمية لما نسميه منصة AI / ML في الوقت الفعلي في هذه المقالة.
ما نعرفه من الاستطلاعات: تطبيقات الوقت الفعلي
تتحدث نتائج استطلاع أجرته شركة Lightbend في عام 2019 عن 800 متخصص في تكنولوجيا المعلومات عن نفسها:
الشكل 1 كبار المستهلكين لبيانات الوقت الفعلي
لاقتباس مقتطفات مهمة من تقرير الاستطلاع هذا في ترجمتنا:
"... الاتجاهات السائدة في شعبية أدوات تكامل تدفق البيانات ، وفي الوقت نفسه ، دعم الحوسبة في الحاويات تعطي استجابة تآزرية لطلب السوق من أجل اقتراح أسرع وأكثر عقلانية وديناميكية للحلول الفعالة. تسمح تدفقات البيانات بنقل المعلومات بشكل أسرع من حزم البيانات التقليدية. يضاف إلى ذلك القدرة على تطبيق التقنيات الحسابية بسرعة مثل التوصيات المستندة إلى الذكاء الاصطناعي / تعلم الآلة ، مما يخلق ميزة تنافسية من خلال زيادة رضا العملاء. يؤثر السباق نحو المرونة أيضًا على جميع الأدوار في نموذج DevOps - مما يجعل تطوير التطبيقات ونشرها أكثر كفاءة. ... قدم ثمانيمائة وأربعة متخصصين في مجال تكنولوجيا المعلومات معلومات عن استخدام تدفقات البيانات في مؤسساتهم.كان المستجيبون في الغالب موجودين في الدول الغربية (41٪ في أوروبا و 37٪ في أمريكا الشمالية) وتم توزيعهم بالتساوي تقريبًا بين الشركات الصغيرة والمتوسطة والكبيرة. ...
... الذكاء الاصطناعي ليس ضجيجا. يؤكد 58 بالمائة من أولئك الذين يستخدمون بالفعل معالجة تدفق البيانات في تطبيقات AI / ML الإنتاجية أن استخدامهم في AI / ML سيشهد أكبر زيادة في العام المقبل (مقارنة بالتطبيقات الأخرى).
- يعتقد غالبية الذين شملهم الاستطلاع أن استخدام الذكاء الاصطناعي / التعلم الآلي لتدفقات البيانات سيشهد أكبر المكاسب في العام المقبل.
- سينمو التطبيق في AI / ML ليس فقط من خلال أنواع جديدة نسبيًا من السيناريوهات ، ولكن أيضًا من خلال السيناريوهات التقليدية التي يتم فيها استخدام بيانات الوقت الفعلي بشكل متزايد.
- بالإضافة إلى الذكاء الاصطناعي / التعلم الآلي ، فإن مستوى الحماس بين مستخدمي خطوط بيانات إنترنت الأشياء مثير للإعجاب - يزعم 48٪ من أولئك الذين قاموا بالفعل بدمج بيانات إنترنت الأشياء أن البرمجة النصية على هذه البيانات ستشهد زيادة كبيرة في المستقبل القريب. ... "
من هذا الاستطلاع المثير للاهتمام إلى حد ما ، من الواضح أن تصور سيناريوهات التعلم الآلي والذكاء الاصطناعي كقادة في استهلاك تدفقات البيانات "في الطريق" بالفعل. لكن الملاحظة التي لا تقل أهمية هي تصور الذكاء الاصطناعي / التعلم الآلي في الوقت الفعلي من خلال بصريات DevOps: هنا يمكننا بالفعل البدء في الحديث عن تحول الثقافة التي لا تزال سائدة "AI / ML القابل للتصرف مع مجموعة بيانات يمكن الوصول إليها بالكامل."
مفهوم منصة AI / ML في الوقت الحقيقي
أحد تطبيقات الذكاء الاصطناعي / تعلم الآلة النموذجية في الوقت الحقيقي هو التحكم في العمليات في التصنيع. باستخدام مثالها ومراعاة الأفكار السابقة ، سنقوم بصياغة مفهوم منصة AI / ML في الوقت الفعلي.
يتضمن استخدام الذكاء الاصطناعي والتعلم الآلي في التحكم في العمليات عددًا من الميزات:
- : ( , )
- , , , , (, )
- , « » , ,
تجبرنا هذه الميزات ، بالإضافة إلى تلقي "مدخلات النطاق العريض" المكثفة من العملية ومعالجتها الأساسية في الوقت الفعلي ، على أداء (بالتوازي) التطبيق والتدريب ومراقبة الجودة لنتائج عمل نماذج الذكاء الاصطناعي / ML - أيضًا في الوقت الفعلي. يتغير "الإطار" الذي "تراه" نماذجنا في النافذة المنزلقة ذات الصلة باستمرار - ومعه تتغير أيضًا جودة نتائج عمل نماذج الذكاء الاصطناعي / تعلم الآلة المدربة على أحد "الإطارات" في الماضي. إذا تدهورت جودة نتائج عمل نماذج الذكاء الاصطناعي / تعلم الآلة (على سبيل المثال: تجاوزت قيمة خطأ التصنيف "الإنذار العادي" الحدود التي حددناها) ، يجب أن يبدأ التدريب الإضافي للنماذج تلقائيًا على "إطار" أكثر صلة - وينبغي اعتبار اختيار اللحظة لبدء تدريب إضافي للنماذج على أنه مدة التدريب نفسها ،وديناميكيات التدهور في جودة الإصدار الحالي من النماذج (حيث يستمر تطبيق الإصدارات الحالية من النماذج أثناء تدريب النماذج وحتى يتم تشكيل إصداراتها "المدربة حديثًا").
InterSystems تمتلك IRIS إمكانات النظام الأساسي الرئيسية لتمكين حلول AI / ML للتحكم في العملية في الوقت الفعلي. يمكن تقسيم هذه القدرات إلى ثلاث مجموعات رئيسية:
- النشر / التسليم المستمر (CD) لآليات AI / ML الحالية الجديدة أو المعدلة في حل إنتاجي يعمل في الوقت الفعلي على نظام InterSystems IRIS
- التكامل المستمر (CI) في حل إنتاجي واحد لتدفقات البيانات الواردة لعملية تكنولوجية ، وقوائم انتظار البيانات للتطبيق / التدريب / مراقبة الجودة لآليات الذكاء الاصطناعي / تعلم الآلة وتفاعلات البيانات / التعليمات البرمجية / التحكم مع بيئات النمذجة الرياضية ، والتي يتم تنظيمها في منصة في الوقت الحقيقي InterSystems IRIS
- (-) (Continuous Training, CT) AI/ML-, , (« »), InterSystems IRIS
إن تصنيف قدرات النظام الأساسي فيما يتعلق بالتعلم الآلي والذكاء الاصطناعي في هذه المجموعات على وجه التحديد ليس عرضيًا. دعونا نستشهد بالنشر المنهجي لـ Google ، والذي يوفر أساسًا مفاهيميًا لهذا التصنيف ، في ترجمتنا:
"... يغطي مفهوم DevOps ، الشائع اليوم ، تطوير وتشغيل أنظمة المعلومات واسعة النطاق. تتمثل مزايا تطبيق هذا المفهوم في تقصير دورات التطوير ، وتسريع نشر التطوير ، والتخطيط المرن للإصدار. لجني هذه الفوائد ، تتضمن DevOps عمليتين على الأقل:
- التكامل المستمر (CI)
- التسليم المستمر (CD)
تنطبق هذه الممارسات أيضًا على منصات AI / ML من أجل ضمان بناء موثوق وفعال لحلول AI / ML المنتجة.
تختلف منصات الذكاء الاصطناعي / تعلم الآلة عن أنظمة المعلومات الأخرى في الجوانب التالية:
- كفاءات الفريق: عند إنشاء حل AI / ML ، يشتمل الفريق عادةً على علماء بيانات أو "أكاديميين" في علم البيانات يقومون بتحليل البيانات وتطوير النماذج والتحقق من صحتها. قد يكون أعضاء الفريق هؤلاء مطورين محترفين للتعليمات البرمجية الإنتاجية وقد لا يكونوا كذلك.
- : AI/ML- . , , , , . « / », , .
- : AI/ML- , . , .
- : AI/ML- , . AI/ML- , . , - , .
- الإنتاجية: قد تفتقر محركات AI / ML إلى الأداء ليس فقط بسبب البرمجة غير الفعالة ، ولكن أيضًا بسبب الطبيعة المتغيرة باستمرار لبيانات الإدخال. بمعنى آخر ، يمكن أن يتدهور أداء محركات AI / ML بسبب مجموعة من الأسباب أوسع من أداء التصميمات التقليدية. يؤدي هذا إلى الحاجة إلى مراقبة (عبر الإنترنت) أداء محركات AI / ML ، بالإضافة إلى إرسال تنبيهات أو تجاهل النتائج إذا كانت مؤشرات الأداء لا تلبي التوقعات.
تشبه منصات AI / ML أنظمة المعلومات الأخرى من حيث يحتاج كلاهما إلى تكامل مستمر للكود مع التحكم في الإصدار ، واختبار الوحدة ، واختبار التكامل ، ونشر التطوير المستمر. ومع ذلك ، في حالة الذكاء الاصطناعي / التعلم الآلي ، هناك بعض الاختلافات المهمة:
- CI (Continuous Integration, ) – AI/ML-.
- CD (Continuous Delivery/Deployment, ) , , AI/ML-.
- CT (Continuous Training, ) – [. : DevOps, CT , , Continuous Testing], AI/ML-, AI/ML-. …»
يمكننا أن نقول أن التعلم الآلي والذكاء الاصطناعي اللذين يعملان على البيانات في الوقت الفعلي يتطلبان مجموعة أوسع من الأدوات والكفاءات (من تطوير الكود إلى تنسيق بيئات النمذجة الرياضية) ، وتكامل أوثق بين جميع المجالات الوظيفية والموضوعية ، وتنظيم أكثر كفاءة للإنسان و موارد الآلة.
سيناريو الوقت الحقيقي: التعرف على تطور العيوب في مضخات الأعلاف
بالاستمرار في استخدام مجال التحكم في العملية التكنولوجية كمثال ، سننظر في مشكلة محددة (سبق أن ذكرناها في البداية): مطلوب توفير مراقبة في الوقت الفعلي لتطور العيوب في المضخات بناءً على تدفق قيم معلمات العملية التكنولوجية وتقارير موظفي الإصلاح حول العيوب المكتشفة.
الشكل 2 صياغة مهمة مراقبة تطور العيوب
من سمات معظم المهام المحددة بهذه الطريقة عمليًا أنه ينبغي النظر في انتظام وكفاءة استلام البيانات (APCS) على خلفية التكرار العرضي وغير المنتظم (والتسجيل) لعيوب من أنواع مختلفة. بمعنى آخر: البيانات من نظام التحكم الآلي في العملية تأتي مرة واحدة في الثانية ، صحيحة ودقيقة ، ويتم عمل ملاحظات حول العيوب بقلم رصاص كيميائي مع التاريخ في دفتر الملاحظات العام في المحل (على سبيل المثال: "12.01 - تسرب إلى الغلاف من المحمل الثالث").
وبالتالي ، يمكن استكمال بيان المشكلة بالقيد المهم التالي: لدينا "تسمية" واحدة فقط لنوع معين من العيب (على سبيل المثال ، يتم تمثيل مثال لنوع معين من العيب ببيانات من نظام التحكم لتاريخ محدد - وليس لدينا المزيد من الأمثلة لهذا النوع من العيب) يأخذنا هذا القيد على الفور خارج إطار عمل التعلم الآلي الكلاسيكي (التعلم تحت الإشراف) ، والذي يجب أن يكون هناك الكثير من "العلامات".
الشكل 3 توضيح مهمة مراقبة تطور العيوب
هل يمكننا بطريقة ما "مضاعفة" "العلامة" الوحيدة الموجودة في حوزتنا؟ نعم نستطيع. تتميز الحالة الحالية للمضخة بدرجة التشابه مع العيوب المسجلة. حتى بدون استخدام الأساليب الكمية ، على مستوى الإدراك البصري ، مع ملاحظة ديناميات قيم البيانات الواردة من نظام التحكم في العملية ، يمكنك بالفعل معرفة الكثير:
الشكل 4 ديناميات حالة المضخة على خلفية "علامة" لعيب من نوع معين
ولكن الإدراك البصري (على الأقل في الوقت الحالي) - ليس منشئ "العلامات" الأنسب في سيناريو سريع الخطى. سنقوم بتقييم تشابه الحالة الحالية للمضخة مع العيوب المبلغ عنها باستخدام اختبار إحصائي.
الشكل 5 تطبيق اختبار إحصائي على البيانات الواردة على خلفية "بطاقة" عيب
يحدد الاختبار الإحصائي احتمال أن تكون السجلات التي تحتوي على قيم معلمات العملية التكنولوجية في "حزمة التدفق" المستلمة من نظام التحكم في العملية مماثلة لسجلات "التسمية" لعيب من نوع معين. يتم تحويل قيمة الاحتمال (مؤشر التشابه الإحصائي) المحسوبة نتيجة تطبيق الاختبار الإحصائي إلى قيمة 0 أو 1 ، لتصبح "تسمية" للتعلم الآلي في كل سجل محدد في الحزمة التي يتم فحصها مثل. أي بعد معالجة الحزمة المستلمة حديثًا من سجلات حالة المضخة باختبار إحصائي ، لدينا الفرصة (أ) لإضافة هذه الحزمة إلى مجموعة التدريب لتدريب نموذج AI / ML و (ب) للتحكم في جودة الإصدار الحالي من النموذج عند تطبيقه لهذه الحزمة.
الشكل 6 تطبيق نموذج تعلُّم الآلة على البيانات الواردة على خلفية "علامة" عيب
في إحدى ندواتنا السابقة على الويبنعرض وشرح كيف تسمح لك منصة InterSystems IRIS بتنفيذ أي آلية AI / ML في شكل تنفيذ عمليات الأعمال بشكل مستمر والتي تتحكم في موثوقية نتائج النمذجة وتكييف معلمات النموذج. عند تنفيذ نموذج أولي للسيناريو الخاص بنا باستخدام المضخات ، فإننا نستخدم جميع وظائف InterSystems IRIS المقدمة أثناء الندوة عبر الويب - التنفيذ في عملية المحلل كجزء من حلنا ليس التعلم الكلاسيكي الخاضع للإشراف ، بل التعلم المعزز ، الذي يدير تلقائيًا العينة لنماذج التدريب. تحتوي عينة التدريب على سجلات يظهر عليها "إجماع على الاكتشاف" بعد تطبيق كل من الاختبار الإحصائي والإصدار الحالي من النموذج - أي الاختبار الإحصائي (بعد تحويل مؤشر التشابه إلى 0 أو 1) ،وأنتج النموذج النتيجة 1 على هذه السجلات. مع التدريب الجديد للنموذج ، أثناء التحقق من صحته (يتم تطبيق النموذج المدرب حديثًا على عينة التدريب الخاصة به ، مع التطبيق الأولي للاختبار الإحصائي عليه) ، السجلات التي "لم يتم الاحتفاظ بها" بعد معالجة نتيجة الاختبار الإحصائي 1 ( نظرًا للوجود المستمر في مجموعة التدريب من السجلات من "التسمية" الأولية للعيب) ، تتم إزالتها من مجموعة التدريب ، ويتعلم الإصدار الجديد من النموذج من "تسمية" العيب بالإضافة إلى السجلات "المحتجزة" من الدفق.تتم إزالة النتيجة 1 "لم يتم الاحتفاظ بها" بعد معالجتها بواسطة الاختبار الإحصائي (نظرًا للوجود المستمر في مجموعة سجلات التدريب من "العلامة" الأولية للعيب) من مجموعة التدريب ، ويتعلم الإصدار الجديد من النموذج من "علامة" العيب بالإضافة إلى السجلات "المحتجزة" من تدفق.تتم إزالة النتيجة 1 "لم يتم الاحتفاظ بها" بعد معالجتها بواسطة الاختبار الإحصائي (نظرًا للوجود المستمر في مجموعة سجلات التدريب من "العلامة" الأولية للعيب) من مجموعة التدريب ، ويتعلم الإصدار الجديد من النموذج من "علامة" العيب بالإضافة إلى السجلات "المحتجزة" من تدفق.
الشكل 7 روبوتات الحوسبة AI / ML في InterSystems IRIS
إذا كانت هناك حاجة لنوع من "الرأي الثاني" حول جودة الاكتشاف التي تم الحصول عليها أثناء الحسابات المحلية في InterSystems IRIS ، يتم إنشاء عملية استشارية لأداء التدريب وتطبيق النماذج على مجموعة بيانات التحكم باستخدام استخدام الخدمات السحابية (مثل Microsoft Azure و Amazon Web Services و Google Cloud Platform وما إلى ذلك):
الشكل 8 "الرأي الثاني" من Microsoft Azure بتنسيق من InterSystems IRIS
يتكون النموذج الأولي للبرنامج النصي الخاص بنا في InterSystems IRIS في شكل نظام قائم على الوكيل للعمليات التحليلية التي تتفاعل مع كائن المعدات (المضخة) وبيئات النمذجة الرياضية (Python و R و Julia) ، وتوفر التعلم الذاتي لجميع آليات AI / ML المعنية - في تدفقات البيانات في الوقت الفعلي ...
الشكل 9 الوظيفة الرئيسية لحل AI / ML في الوقت الحقيقي في InterSystems IRIS
النتيجة العملية لنموذجنا الأولي:
- نمط العيب الذي يتعرف عليه النموذج (12 يناير):
- عيب متطور تم التعرف عليه بواسطة النموذج ولم يتم تضمينه في العينة (في 11 سبتمبر ، تم التأكد من العيب نفسه بواسطة فريق الإصلاح بعد يومين فقط - في 13 سبتمبر):
أظهرت المحاكاة على بيانات حقيقية تحتوي على عدة حلقات من نفس العيب أن حلنا ، الذي تم تنفيذه على منصة InterSystems IRIS ، يسمح لنا باكتشاف تطور عيوب من هذا النوع قبل عدة أيام من اكتشافها بواسطة فريق الإصلاح.
InterSystems IRIS عبارة عن منصة حوسبة متعددة الاستخدامات في الوقت الحقيقي AI / ML
تعمل منصة InterSystems IRIS على تبسيط تطوير ونشر وتشغيل حلول البيانات في الوقت الفعلي. InterSystems IRIS قادرة على إجراء معالجة البيانات التحليلية والمعاملات في وقت واحد ؛ الحفاظ على عروض البيانات المتزامنة وفقًا لعدة نماذج (بما في ذلك العلائقية والتسلسل الهرمي والموضوع والمستند) ؛ العمل كمنصة لدمج مجموعة واسعة من مصادر البيانات والتطبيقات الفردية ؛ تقديم تحليلات متقدمة في الوقت الحقيقي على البيانات المهيكلة وغير المهيكلة. يوفر InterSystems IRIS أيضًا آليات لاستخدام الأدوات التحليلية الخارجية ، ويسمح لك بدمج الاستضافة في السحابة والخوادم المحلية بمرونة.
تم نشر التطبيقات المبنية على منصة InterSystems IRIS عبر مجموعة متنوعة من الصناعات ، مما يساعد الشركات على توليد قيمة اقتصادية كبيرة من منظور استراتيجي وتشغيلي ، وزيادة الوعي بصنع القرار وسد الفجوة بين الحدث والتحليل والعمل.
الشكل 10 InterSystems IRIS Architecture في سياق AI / ML في الوقت الحقيقي
مثل الرسم البياني السابق ، يجمع الرسم البياني أدناه "نظام الإحداثيات" الجديد (CD / CI / CT) مع تدفق المعلومات بين عناصر عمل النظام الأساسي. يبدأ التصوير بالآلية الكبيرة للقرص المضغوط ويستمر بآليات CI و CT الكبيرة.
الشكل 11 رسم تخطيطي لتدفق المعلومات بين عناصر AI / ML لمنصة InterSystems IRIS
جوهر آلية القرص المضغوط في InterSystems IRIS: مستخدمو النظام الأساسي (مطورو حلول AI / ML) يتكيفون و / أو ينشئون تطورات AI / ML جديدة باستخدام محرر متخصص لرمز برنامج آليات AI / ML: Jupyter (الاسم الكامل: Jupyter Notebook ؛ أيضًا ، للإيجاز ، تسمى المستندات التي تم إنشاؤها في هذا المحرر أحيانًا). في Jupyter ، يمتلك المطور القدرة على الكتابة وتصحيح الأخطاء والتأكد من أن تطوير AI / ML يعمل (بما في ذلك استخدام الرسومات) قبل نشره ("نشر") إلى InterSystems IRIS. من الواضح أن التطوير الجديد الذي تم إنشاؤه بهذه الطريقة سيتلقى تصحيحًا أساسيًا فقط (نظرًا لأن Jupyter ، على وجه الخصوص ، لا يعمل مع تدفقات البيانات في الوقت الفعلي) - هذا هو ترتيب اليوم ،بعد كل شيء ، فإن النتيجة الرئيسية للتطوير في Jupyter هي تأكيد الأداء الأساسي لآلية AI / ML منفصلة ("إظهار النتيجة المتوقعة على عينة بيانات"). وبالمثل ، قد تتطلب آلية تم وضعها بالفعل في النظام الأساسي (انظر آليات الماكرو التالية) قبل تصحيح الأخطاء في Jupyter "تراجعًا" إلى عرض "ما قبل النظام الأساسي" (قراءة البيانات من الملفات ، والعمل مع البيانات عبر xDBC بدلاً من الجداول ، والتفاعل المباشر مع globals - مصفوفات بيانات متعددة الأبعاد InterSystems IRIS - إلخ).العمل مع البيانات عبر xDBC بدلاً من الجداول ، والتفاعل المباشر مع globals - مصفوفات البيانات متعددة الأبعاد من InterSystems IRIS - إلخ).العمل مع البيانات عبر xDBC بدلاً من الجداول ، والتفاعل المباشر مع globals - مصفوفات البيانات متعددة الأبعاد من InterSystems IRIS - إلخ).
جانب مهم من تنفيذ القرص المضغوط في InterSystems IRIS: يتم تنفيذ تكامل ثنائي الاتجاه بين النظام الأساسي و Jupyter ، مما يسمح بنقل المحتوى إلى النظام الأساسي (وفي المستقبل ، المعالجة في النظام الأساسي) المحتوى في Python و R و Julia (الثلاثة جميعهم لغات برمجة في Open- الرائدة المقابلة- بيئات المصدر للنمذجة الرياضية). وبالتالي ، يتمتع مطورو محتوى AI / ML بالقدرة على "النشر المستمر" لهذا المحتوى في النظام الأساسي ، والعمل في محرر Jupyter المعتاد ، مع المكتبات المألوفة المتوفرة في Python و R و Julia وتنفيذ تصحيح الأخطاء الأساسي (إذا لزم الأمر) خارج النظام الأساسي ...
الانتقال إلى آلية الماكرو CI في InterSystems IRIS. يوضح الرسم التخطيطي العملية الكلية لـ "روبوت في الوقت الفعلي" (مجموعة من هياكل البيانات والعمليات التجارية وأجزاء التعليمات البرمجية التي تم تنسيقها من قبلهم بلغات Mathred و ObjectScript - اللغة الأصلية لتطوير InterSystems IRIS). تتمثل مهمة هذه العملية الكلية في الحفاظ على قوائم انتظار البيانات اللازمة لتشغيل آليات الذكاء الاصطناعي / التعلم الآلي (استنادًا إلى تدفقات البيانات المرسلة إلى النظام الأساسي في الوقت الفعلي) ، واتخاذ قرارات بشأن تسلسل التطبيق و "نطاق" آليات الذكاء الاصطناعي / تعلم الآلة (وهي أيضًا "خوارزميات رياضية" ، " نماذج "، وما إلى ذلك - يمكن تسميتها بشكل مختلف اعتمادًا على تفاصيل التنفيذ وعلى تفضيلات المصطلحات) ، حافظ على هياكل البيانات المحدثة لتحليل نتائج آليات الذكاء الاصطناعي / تعلم الآلة (المكعبات ، الجداول ، مصفوفات البيانات متعددة الأبعاد ، إلخ.)- للتقارير ولوحات المعلومات وما إلى ذلك).
جانب مهم من تنفيذ CI في InterSystems IRIS: يتم تنفيذ تكامل ثنائي الاتجاه بين النظام الأساسي وبيئات النمذجة الرياضية ، مما يسمح بتنفيذ المحتوى الموضوع على النظام الأساسي في Python و R و Julia في بيئاتهم الخاصة مع عودة نتائج التنفيذ. يتم تنفيذ هذا التكامل في "الوضع الطرفي" (أي ، تمت صياغة محتوى AI / ML ككود ObjectScript الذي يقوم بإجراء استدعاءات لبيئة الرياضيات) ، وفي "وضع عملية الأعمال" (أي ، تمت صياغة محتوى AI / ML كعملية تجارية باستخدام محرر رسومي ، أو أحيانًا باستخدام Jupyter ، أو باستخدام IDE - IRIS Studio ، Eclipse ، Visual Studio Code). ينعكس التوافر القابل للتحرير للعمليات التجارية في Jupyter من خلال الارتباط بين IRIS على مستوى CI و Jupyter على مستوى القرص المضغوط.فيما يلي نظرة عامة أكثر تفصيلاً على التكامل مع بيئات النمذجة الرياضية. في هذه المرحلة ، في رأينا ، هناك كل الأسباب لإصلاح التواجد في النظام الأساسي لجميع الأدوات اللازمة لتنفيذ "التكامل المستمر" لتطورات AI / ML (القادمة من "النشر المستمر") في حلول AI / ML في الوقت الفعلي.
والآلية الكلية الرئيسية: CT. بدونها ، لن تعمل منصة AI / ML (على الرغم من أنه سيتم تنفيذ "الوقت الحقيقي" عبر CD / CI). جوهر CT هو عمل النظام الأساسي مع "القطع الأثرية" للتعلم الآلي والذكاء الاصطناعي مباشرة في جلسات العمل لبيئات النمذجة الرياضية: النماذج ، وجداول التوزيع ، ونواقل المصفوفة ، وطبقات الشبكات العصبية ، إلخ. يتكون هذا "العمل" ، في معظم الحالات ، من إنشاء القطع الأثرية المذكورة في البيئات (في حالة النماذج ، على سبيل المثال ، يتكون "الإنشاء" من تحديد مواصفات النموذج والاختيار اللاحق لقيم معلماته - ما يسمى "تدريب" النموذج) ، وتطبيقها (من أجل النماذج: الحساب بمساعدة قيم "النموذج" للمتغيرات المستهدفة - التنبؤات ، والانتماء إلى فئة ، واحتمال وقوع حدث ، وما إلى ذلك.) وتحسين الأدوات التي تم إنشاؤها وتطبيقها بالفعل (على سبيل المثال ، إعادة تعريف مجموعة متغيرات الإدخال للنموذج بناءً على نتائج التطبيق - من أجل زيادة دقة التنبؤ ، كخيار). النقطة الأساسية في فهم دور CT هو "تجريده" من واقع القرص المضغوط و CI: سينفذ CT جميع المصنوعات ، مع التركيز على التفاصيل الحسابية والرياضية لحل الذكاء الاصطناعي / التعلم الآلي ضمن القدرات التي توفرها بيئات محددة. سيكون CD و CI مسؤولين عن "توفير المدخلات" و "تسليم النتائج".التركيز على التفاصيل الحسابية والرياضية لحل الذكاء الاصطناعي / التعلم الآلي ضمن القدرات التي توفرها بيئات محددة. سيكون CD و CI مسؤولين عن "توفير المدخلات" و "تسليم النتائج".التركيز على التفاصيل الحسابية والرياضية لحل الذكاء الاصطناعي / التعلم الآلي ضمن القدرات التي توفرها بيئات محددة. سيكون CD و CI مسؤولين عن "توفير المدخلات" و "تسليم النتائج".
جانب مهم من تطبيق التصوير المقطعي المحوسب في InterSystems IRIS: باستخدام التكامل المذكور بالفعل مع بيئات النمذجة الرياضية ، فإن النظام الأساسي لديه القدرة على استخراج القطع الأثرية من جلسات العمل التي تعمل تحت سيطرته في البيئة الرياضية (والأهم من ذلك) تحويلها إلى كائنات بيانات النظام الأساسي على سبيل المثال ، يمكن نقل جدول التوزيع الذي تم إنشاؤه للتو في جلسة عمل Python (دون إيقاف جلسة في Python) إلى النظام الأساسي في شكل ، على سبيل المثال ، عالمي (مجموعة بيانات متعددة الأبعاد InterSystems IRIS) - ويتم استخدامه للحسابات في AI / ML- آلية (تم تنفيذها بالفعل بلغة بيئة أخرى - على سبيل المثال ، في R) - أو جدول افتراضي. مثال آخر: بالتوازي مع "الوضع العادي" للنموذج (في جلسة عمل Python) ، يتم تنفيذ "auto-ML" على بيانات الإدخال الخاصة به:الاختيار التلقائي لمتغيرات الإدخال الأمثل وقيم المعلمات. جنبًا إلى جنب مع التدريب "العادي" ، يتلقى النموذج الإنتاجي في الوقت الفعلي أيضًا "اقتراحًا لتحسين" مواصفاته - حيث تتغير مجموعة متغيرات الإدخال ، تتغير قيم المعلمات (لم يعد نتيجة للتدريب في Python ، ولكن كنتيجة لتدريب "بديل" "نسخة منه ، على سبيل المثال ، في H2O stack) ، مما يسمح لحل AI / ML العام بالتعامل بشكل مستقل مع التغييرات غير المتوقعة في طبيعة بيانات الإدخال والظواهر المحاكاة.وكنتيجة لتدريب نسخة "بديلة" منه ، على سبيل المثال ، في H2O stack) ، مما يسمح للحل العام AI / ML بالتعامل بشكل مستقل مع التغييرات غير المتوقعة في طبيعة بيانات الإدخال والظواهر المحاكاة.وكنتيجة لتدريب نسخة "بديلة" منه ، على سبيل المثال ، في H2O stack) ، مما يسمح للحل العام AI / ML بالتعامل بشكل مستقل مع التغييرات غير المتوقعة في طبيعة بيانات الإدخال والظواهر المحاكاة.
دعنا نتعرف بمزيد من التفاصيل على وظيفة AI / ML للنظام الأساسي InterSystems IRIS ، باستخدام مثال نموذج أولي حقيقي.
في الرسم التخطيطي أدناه ، على الجانب الأيسر من الشريحة ، هناك جزء من عملية الأعمال التي تنفذ تنفيذ البرامج النصية في Python و R. في الجزء المركزي ، توجد سجلات مرئية لتنفيذ بعض هذه البرامج النصية ، على التوالي ، في Python و R. ولغة أخرى يتم نقلها للتنفيذ في البيئات المناسبة. في النهاية على اليمين - تصورات تعتمد على نتائج تنفيذ البرنامج النصي. يتم إجراء التصورات في الجزء العلوي على IRIS Analytics (يتم أخذ البيانات من Python إلى منصة بيانات InterSystems IRIS وعرضها على لوحة القيادة بواسطة أدوات النظام الأساسي) ، في الجزء السفلي ، يتم إجراؤها مباشرة في جلسة عمل R وإخراجها من هناك إلى ملفات الرسوم. جانب مهم: الجزء المقدم في النموذج الأولي مسؤول عن تدريب النموذج (تصنيف حالات المعدات) على البيانات الواردة في الوقت الفعلي من عملية محاكاة المعدات ،بناء على أمر من مراقب العملية لجودة التصنيف ، التي تمت ملاحظتها أثناء تطبيق النموذج. ستتم مناقشة تنفيذ حل الذكاء الاصطناعي / التعلم الآلي في شكل مجموعة من العمليات المتفاعلة ("الوكلاء") أدناه.
الشكل 12 التفاعل مع Python و R و Julia في
عمليات InterSystems IRIS Platform (وهي أيضًا "عمليات تجارية" و "عمليات تحليلية" و "خطوط أنابيب" وما إلى ذلك - اعتمادًا على السياق) ، أولاً وقبل كل شيء ، قابلة للتحرير في محرر رسومي العمليات التجارية في النظام الأساسي نفسه ، وبطريقة يتم إنشاء كل من مخطط الكتلة الخاص بها وآلية AI / ML المقابلة (رمز البرنامج). عندما نقول أنه "تم الحصول على آلية AI / ML" ، فإننا نعني في البداية التهجين (ضمن عملية واحدة): المحتوى في لغات النمذجة الرياضية مجاور للمحتوى في SQL (بما في ذلك الامتدادات من IntegratedML) ، في InterSystems ObjectScript ، مع اللغات الأخرى المدعومة. علاوة على ذلك ، تتيح عملية النظام الأساسي فرصًا كبيرة جدًا لـ "العرض" في شكل أجزاء متداخلة هرميًا (كما يمكن رؤيته في المثال في الرسم البياني أدناه) ، مما يجعل من الممكن تنظيم المحتوى شديد التعقيد بشكل فعال دون "الانقطاع" عن التنسيق الرسومي (إلى "غير رسومي") »طرق / فئات / إجراءات ، إلخ.). وهذا يعني أنه إذا لزم الأمر (ومن المتوقع في معظم المشاريع) يمكن تنفيذ جميع حلول AI / ML في شكل رسوم بيانية التوصية الذاتية. يرجى ملاحظة أنه في الجزء المركزي من الرسم البياني أدناه ، والذي يُظهر "مستوى تداخل" أعلى ، يمكنك أن ترى أنه بالإضافة إلى العمل الفعلي على تدريب النموذج (باستخدام Python و R) ، تمت إضافة تحليل لما يسمى بمنحنى ROC للنموذج المدرب.السماح بصريًا (وحسابيًا أيضًا) بتقييم جودة التدريب - ويتم تنفيذ هذا التحليل بلغة جوليا (تم تنفيذه ، على التوالي ، في إطار عمل جوليا).
الشكل 13 البيئة المرئية لتكوين حلول AI / ML في InterSystems IRIS
كما ذكرنا سابقًا ، فإن التطوير الأولي و (في بعض الحالات) تكييف آليات الذكاء الاصطناعي / التعلم الآلي المنفذة بالفعل في النظام الأساسي سيتم / يمكن القيام به خارج النظام الأساسي في محرر Jupyter. في الرسم البياني أدناه ، نرى مثالاً على تكييف عملية النظام الأساسي الحالية (كما هو الحال في الرسم البياني أعلاه) - هذه هي الطريقة التي يبدو بها الجزء المسؤول عن تدريب النموذج في Jupyter. محتوى Python متاح للتحرير وتصحيح الأخطاء وإخراج الرسومات مباشرة في Jupyter. يمكن إجراء التغييرات (إذا لزم الأمر) من خلال المزامنة الفورية في عملية النظام الأساسي ، بما في ذلك إصدار الإنتاج. وبالمثل ، يمكن نقل المحتوى الجديد إلى النظام الأساسي (يتم إنشاء عملية النظام الأساسي الجديدة تلقائيًا).
الشكل 14 استخدام Jupyter Notebook لتحرير محرك AI / ML في
منصة InterSystems IRIS يمكن إجراء تكييف عملية النظام الأساسي ليس فقط بتنسيق رسوم بيانية أو دفتر ملاحظات - ولكن أيضًا بتنسيق IDE "الإجمالي" (بيئة التطوير المتكاملة). هذه IDEs هي IRIS Studio (استوديو IRIS الأصلي) و Visual Studio Code (ملحق InterSystems IRIS لـ VSCode) و Eclipse (ملحق Atelier). في بعض الحالات ، يمكن لفريق التطوير استخدام كل IDEs الثلاثة في نفس الوقت. يوضح الرسم البياني أدناه مثالاً لتحرير نفس العملية في استوديو IRIS وفي Visual Studio Code وفي Eclipse. كل المحتوى متاح تمامًا للتعديل: Python / R / Julia / SQL و ObjectScript وعملية الأعمال.
الشكل 15 تطوير عملية أعمال IRIS InterSystems في IDEs المختلفة
وسائل وصف وتنفيذ العمليات التجارية لـ InterSystems IRIS بلغة عمليات الأعمال (BPL) تستحق الذكر بشكل خاص. يجعل BPL من الممكن استخدام "مكونات التكامل الجاهزة" (الأنشطة) في العمليات التجارية - والتي ، في الواقع ، توفر أسبابًا كاملة لتأكيد تنفيذ "التكامل المستمر" في InterSystems IRIS. تعد المكونات الجاهزة لعملية الأعمال (الأنشطة والوصلات بينها) أقوى مسرع لتجميع حل AI / ML. وليس فقط التجمعات: بفضل الأنشطة والصلات فيما بينها ، تظهر "طبقة إدارة مستقلة" فوق تطورات وآليات الذكاء الاصطناعي / ML المتباينة ، القادرة على اتخاذ القرارات وفقًا للحالة ، في الوقت الفعلي.
الشكل 16 مكونات العمليات التجارية الجاهزة للتكامل المستمر (CI) على النظام الأساسي InterSystems IRIS
يتمتع مفهوم أنظمة الوكيل (المعروف أيضًا باسم "الأنظمة متعددة الوكلاء") بمكانة قوية في الروبوتات ، وتدعمه منصة InterSystems IRIS بشكل عضوي من خلال بناء "عملية المنتج". بالإضافة إلى الإمكانيات غير المحدودة لـ "حشو" كل عملية بالوظائف اللازمة لحل عام ، فإن منح نظام عمليات النظام الأساسي بخاصية "الوكالة" يسمح لك بإنشاء حلول فعالة لظواهر نموذجية غير مستقرة للغاية (سلوك النظم الاجتماعية / النظم الحيوية ، العمليات التكنولوجية التي يمكن ملاحظتها جزئيًا ، إلخ).
الشكل 17 عمل حل AI / ML في شكل نظام قائم على الوكيل للعمليات التجارية في InterSystems IRIS
نواصل مراجعتنا لـ InterSystems IRIS بقصة حول الاستخدام التطبيقي للنظام الأساسي لحل فئات كاملة من مشاكل الوقت الفعلي (تحدث معرفة تفصيلية إلى حد ما مع بعض أفضل ممارسات النظام الأساسي AI / ML على InterSystems IRIS في إحدى ندواتنا السابقة على الويب ).
في أعقاب الرسم البياني السابق ، يوجد أدناه مخطط أكثر تفصيلاً لنظام الوكيل. يُظهر الرسم التخطيطي نفس النموذج الأولي ، وجميع عمليات الوكلاء الأربعة مرئية ، والعلاقة بينها مرسومة بشكل تخطيطي: GENERATOR - يعمل على إنشاء البيانات بواسطة مستشعرات المعدات ، BUFFER - يدير قوائم انتظار البيانات ، ANALYZER - يؤدي التعلم الآلي نفسه ، المراقبة - يتحكم في جودة التعلم الآلي ويوفر إشارة إلى الحاجة إلى إعادة تدريب النموذج.
الشكل 18 تكوين حل الذكاء الاصطناعي / التعلم الآلي في شكل نظام قائم على الوكيل للعمليات التجارية في InterSystems IRIS
يوضح الرسم البياني أدناه الأداء المستقل لنموذج أولي آلي آخر (التعرف على التلوين العاطفي للنصوص) لبعض الوقت. في الجزء العلوي - تطور مؤشر جودة التعلم للنموذج (الجودة آخذة في الازدياد) ، في الجزء السفلي - ديناميكيات مؤشر جودة النموذج وحقائق التدريب المتكرر (الأعمدة الحمراء). كما ترى ، فإن الحل يتم تدريسه ذاتيًا بكفاءة واستقلالية ، ويعمل بمستوى الجودة المحدد (لا تقل قيم مؤشر الجودة عن 80٪).
الشكل 19 التعلم المستمر (الذاتي) على منصة IRIS بين الأنظمة
ذكرنا أيضًا "auto-ML" سابقًا ، لكن الرسم البياني أدناه يوضح استخدام هذه الوظيفة بالتفصيل باستخدام نموذج أولي آخر كمثال. يُظهر الرسم البياني لجزء من عملية تجارية النشاط الذي يطلق محاكاة في مكدس H2O ، ويظهر نتائج هذه المحاكاة (الهيمنة الواضحة للنموذج الناتج على النماذج "من صنع الإنسان" ، وفقًا للرسم التخطيطي المقارن لمنحنيات ROC ، بالإضافة إلى التحديد الآلي لـ "المتغيرات الأكثر تأثيرًا" المتوفرة في مجموعة البيانات الأصلية). نقطة مهمة هنا هي توفير الوقت وموارد الخبراء ، والذي يتم تحقيقه من خلال "التعلم الآلي": ما تفعله عملية النظام الأساسي لدينا في نصف دقيقة (إيجاد النموذج الأمثل وتدريبه) يمكن أن يستغرق خبيرًا من أسبوع إلى شهر.
الشكل 20: تكامل "auto-ML" في حل AI / ML استنادًا إلى نظام InterSystems IRIS
الرسم البياني أدناه "يؤدي إلى الذروة" قليلاً ، ولكن هذه طريقة جيدة لإكمال القصة حول فئات المهام في الوقت الفعلي التي يتم حلها: نذكرك أنه مع جميع إمكانيات منصة InterSystems IRIS ، تدريب النماذج الخاضعة لسيطرتها اختياري. يمكن للمنصة الحصول من الخارج على ما يسمى بمواصفات نموذج PMML ، مدربة في أداة خارج سيطرة النظام الأساسي - وتطبيق هذا النموذج في الوقت الفعلي من لحظة استيراد مواصفات PMML الخاصة به.... من المهم أن نأخذ في الاعتبار أنه لا يمكن اختزال جميع عناصر الذكاء الاصطناعي / تعلم الآلة إلى مواصفات PMML ، حتى لو سمحت بذلك معظم القطع الأثرية الأكثر شيوعًا. وبالتالي ، فإن منصة InterSystems IRIS هي "حلقة مفتوحة" ولا تعني "عبودية النظام الأساسي" للمستخدمين.
الشكل 21 تطبيق النموذج وفقًا لمواصفات PMML في النظام الأساسي InterSystems IRIS ،
دعونا ندرج مزايا النظام الأساسي الإضافية لـ InterSystems IRIS (من أجل الوضوح ، فيما يتعلق بالتحكم في العمليات) التي لها أهمية كبيرة في أتمتة الذكاء الاصطناعي والتعلم الآلي في الوقت الفعلي:
- أدوات تكامل متقدمة مع أي مصادر بيانات ومستهلكين (APCS / SCADA ، المعدات ، MRO ، ERP ، إلخ)
- - (Hybrid Transaction/Analytical Processing, HTAP)
- AI/ML- Python, R, Julia
- - (-) AI/ML-
- Business Intelligence AI/ML-
- API AI/ML- /SCADA, - , . .
تتلاءم حلول AI / ML المستندة إلى نظام InterSystems IRIS بسهولة مع البنية التحتية الحالية لتكنولوجيا المعلومات. توفر منصة InterSystems IRIS موثوقية عالية لحلول AI / ML من خلال دعم التكوينات المتسامحة مع الأخطاء والكوارث والنشر المرن في البيئات الافتراضية ، على الخوادم الفعلية ، في السحابات الخاصة والعامة ، وحاويات Docker.
وبالتالي ، فإن InterSystems IRIS عبارة عن منصة حوسبة متعددة الاستخدامات في الوقت الحقيقي AI / ML. تم تأكيد تعدد استخدامات منصتنا في الممارسة العملية من خلال عدم وجود قيود فعلية على تعقيد الحسابات المنفذة ، وقدرة InterSystems IRIS على الجمع (في الوقت الفعلي) لمعالجة السيناريوهات من مجموعة متنوعة من الصناعات ، والتكيف الاستثنائي لأي وظائف وآليات النظام الأساسي مع الاحتياجات المحددة للمستخدمين.
الشكل 22 InterSystems IRIS - منصة حوسبة عالمية في الوقت الحقيقي AI / ML
لمزيد من التفاعل الموضوعي مع أولئك القراء المهتمين بالمواد المعروضة هنا ، نوصي بتجاوز قراءتها ومواصلة الحوار "مباشر". نحن على استعداد لتقديم الدعم من خلال صياغة سيناريوهات AI / ML في الوقت الفعلي فيما يتعلق بخصائص شركتك ، وسنقوم بتنفيذ نماذج أولية مشتركة على منصة InterSystems IRIS ، وسنشكل وننفذ عمليًا خارطة طريق لإدخال الذكاء الاصطناعي والتعلم الآلي في عمليات الإنتاج والإدارة الخاصة بك. عنوان البريد الإلكتروني للاتصال بمجموعة خبراء الذكاء الاصطناعي / ML هو MLToolkit@intersystems.com .