نحن نتحدث عن محرك بحث مرئي تلقى أول استثمارات رأس المال الاستثماري الغربي في مجال تكنولوجيا المعلومات في روسيا ، والذي تم إنشاؤه على أساس الشبكات العصبية الدلالية النشطة. تحت الخفض ، سنخبرك عن المبادئ الأساسية للتشغيل والهندسة المعمارية.
الأصول
كنت محظوظًا جدًا في حياتي - لقد درست على يد نيكولاي ميخائيلوفيتش أموسوف ، وهو شخص بارز وجراح قلب وعلم التحكم الآلي. لقد درست غيابيًا - لم يمنحني انهيار الاتحاد السوفيتي الفرصة للقاء شخصيًا.
يمكن قول الكثير عن نيكولاي ميخائيلوفيتش ، فقد ولد لعائلة من الفلاحين في قرية بالقرب من Cherepovets وفي نفس الوقت حصل على المركز الثاني في مشروع "الأوكرانيين العظماء" ، حيث منح ياروسلاف الحكيم المركز الأول. جراح قلب ومهندس إلكتروني متميز قام بشكل مستقل بتطوير أول صمام اصطناعي في الاتحاد السوفياتي. تم تسمية الشوارع ، كلية الطب ، الكلية ، قارب يبحر في خزان Ivankovskoye باسمه.
لقد كتب الكثير عن هذا في ويكيبيديا وفي مواقع أخرى .
أريد أن أتطرق إلى الجانب غير المضاء على نطاق واسع من عاموسوف. نظرة عامة ، سمحت له دراستان (طبي وهندسي) بتطوير نظرية الشبكات العصبية الدلالية النشطة (شبكات M) ، والتي تم خلالها ، منذ أكثر من 50 عامًا ، تنفيذ أشياء لا تزال مذهلة في تفردها.
وإذا كانت هناك قوة حوسبية كافية في ذلك الوقت ، فربما يتم تطبيق الذكاء الاصطناعي القوي بالفعل اليوم.
في أعماله ، تمكن Amosov من الحفاظ على التوازن بين الفيزيولوجيا العصبية والرياضيات ، ودراسة ووصف العمليات المعلوماتية للذكاء. عرضت نتائج أعماله في عدة أعمال ، وآخرها دراسة بعنوان "خوارزميات العقل" ، نشرت عام 1979.
سأقدم اقتباسًا قصيرًا منه حول أحد النماذج:
"... (نحن) أجرينا دراسة ، كان الغرض منها دراسة إمكانيات شبكات M في مجال الفسيولوجيا العصبية وعلم النفس العصبي ، وكذلك لتقييم الأهمية العملية والمعرفية لمثل هذه النماذج. تم تطوير ودراسة M-automaton ، والذي يحاكي آليات الكلام. يقدم النموذج جوانب من الكلام الشفوي مثل الإدراك والفهم والتعبير اللفظي.
تم تصميم النموذج لإعادة إنتاج وظائف الكلام البسيطة نسبيًا (!!!) - إجابات لأسئلة محدودة النوع ، التكرار ، التسمية. يحتوي على الكتل التالية: الإدراك السمعي ، والكلام الحسي ، والكلام التحفيزي ، والمفاهيم ، والعاطفة ، والتحفيزية ، والكلام الحركي ، والتعبير ، وكتلة SUT. كتل النموذج مرتبطة بتشكيلات دماغية معينة ...
... كان إدخال النموذج عبارة عن أحرف الأبجدية الروسية مدمجة في كلمات وعبارات ، بالإضافة إلى كائنات خاصة تتوافق مع صور الأشياء. عند إخراج النموذج ، اعتمادًا على طريقة تشغيله ، تمت ملاحظة تسلسل أحرف الأبجدية الروسية ، والتي كانت إما إجابات لأسئلة الإدخال ، أو تكرارًا لكلمات الإدخال ، أو أسماء الكائنات.
حقيقة أن البيانات الفسيولوجية العصبية استخدمت على نطاق واسع في إنشاء النموذج جعلت من الممكن في التجارب محاكاة عدد من آفات الدماغ ذات الطبيعة العضوية والوظيفية ، مما أدى إلى ضعف وظائف الكلام.
وهذا مجرد عمل واحد.
آخر هو التحكم في الروبوت المحمول. "... يفترض نظام التحكم في الروبوت تنفيذ حركة هادفة مع ضمان سلامته (تجنب العقبات ، وتجنب الأماكن الخطرة ، والحفاظ على المعلمات الداخلية ضمن الحدود المحددة) وتقليل تكاليف الوقت والطاقة".
كما تصف الدراسة نتائج نمذجة السلوك الحر "لموضوع معين في بيئة تحتوي على أشياء مفيدة وخطيرة بالنسبة له. تم تحديد دوافع الموضوع للسلوك من خلال الشعور بالتعب والجوع والرغبة في الحفاظ على الذات. درس الموضوع البيئة ، واختار هدف الحركة ، ووضع خطة لتحقيق هذا الهدف ، ثم نفذها من خلال تنفيذ خطوات الإجراءات ، ومقارنة النتائج التي تم الحصول عليها أثناء الحركة مع النتائج المخطط لها ، وتكملة الخطة وتعديلها حسب المواقف الناشئة.
ملامح النظرية
في أعماله ، حاول Amosov إنشاء نموذج معلوماتي / حسابي ، كما نقول الآن ، لـ "الذكاء القوي" ، وفي رأيي ، تصف نظريته عن كثب ما يحدث بالفعل في دماغ الثدييات.
السمات الرئيسية للشبكات M ، والتي تميزها بشكل أساسي عن نماذج الشبكات العصبية الأخرى ، هي الحمل الدلالي الصارم لكل خلية عصبية ووجود نظام للتقييم الداخلي لحالتها. هناك مستقبلات الخلايا العصبية ، والأجسام العصبية ، والمشاعر العصبية ، وأفعال الخلايا العصبية.
يتم التعلم وفقًا لقاعدة Hebb المعدلة ، مع مراعاة حالتك الداخلية. وفقًا لذلك ، يتم اتخاذ القرار على أساس توزيع مفهوم لنشاط الخلايا العصبية المعينة لغويًا.
تتعلم الشبكة "على الطاير" ، دون تكرار. تعمل نفس الآليات مع أنواع مختلفة من المعلومات ، سواء كان ذلك الكلام أو تصور البيانات المرئية أو النشاط الحركي. هذا النموذج يحاكي عمل الوعي واللاوعي.
سيتمكن المهتمون من العثور على كتب أموسوف مع وصف أكثر تفصيلاً للنظرية والتطبيقات العملية للجوانب المختلفة للذكاء ، لكنني سأخبرك عن تجربتنا في بناء محرك البحث المرئي Quintura Search.
كوينتورا
تأسست شركة Quintura في عام 2005. تم تنفيذ نموذج أولي لتطبيق سطح المكتب يوضح نهجنا بأموالنا الخاصة. بأموال ملاك راتمير تيماشيف وأندريه بارونوف (صندوق ABRT لاحقًا ) ، تم الانتهاء من النموذج الأولي ، وعقدت مفاوضات واستلمت استثمارات من صندوق لوكسمبورغ Mangrove Capital Partners . كان هذا أول استثمار غربي في روسيا في مجال تكنولوجيا المعلومات. جاء الشركاء الثلاثة للصندوق إلى سيرجيف بوساد للنظر في أعيننا واتخاذ قرار بشأن الاستثمار.
لمدة ست سنوات ، تم استخدام الأموال الواردة لتطوير الوظائف الكاملة لمحرك بحث على شبكة الإنترنت - جمع المعلومات والفهرسة ومعالجة الاستفسارات وإصدار النتائج. كانت النواة عبارة عن شبكة M ، أو بالأحرى مجموعة من شبكات M (شبكة مفاهيمية وشبكات لكل وثيقة). تم تدريب الشبكة في تمريرة واحدة فوق الوثيقة. بالنسبة لدورتين من دورات إعادة الحساب ، تم تخصيص الكلمات الرئيسية ، وتم العثور على المستندات التي تطابق الاستعلام في المعنى ، وتم إنشاء التعليقات التوضيحية الخاصة بها. فهمت الشبكة سياق الطلب ، وبشكل أكثر دقة ، سمحت للمستخدم بتوضيحه من خلال إضافة المعاني الضرورية للبحث وإزالة المستندات التي تحتوي على سياقات غير ذات صلة من نتائج البحث.
المبادئ والنهج الأساسية
كما هو مذكور أعلاه ، كل خلية عصبية في الشبكة لها حمل دلالي خاص بها. لتوضيح براءات الاختراع ، قدمنا صورة مرئية (أعتذر عن الجودة - لم يتم حفظ النسخ الأصلية للصور ، فيما يلي استخدمنا صورًا من عمليات مسح براءات الاختراع الخاصة بنا ومن المقالات المتعلقة بنا من مواقع مختلفة):
مبسط ، الشبكة المفاهيمية هي مجموعة من المفاهيم العصبية المتعلقة مع بعضها البعض عن طريق التوصيلات ، بما يتناسب مع تواتر حدوثها مع بعضها البعض. عندما يقوم المستخدم بإدخال كلمة استعلام ، فإننا "نسحب" الخلايا العصبية لهذه الكلمة ، ويقوم هو بدوره بسحب الخلايا المرتبطة بها. وكلما كان الاتصال أقوى ، كلما كانت الخلايا العصبية الأخرى أقرب إلى الخلايا العصبية المطلوبة.
إذا كانت هناك عدة كلمات في الطلب ، فسيتم "سحب" جميع الخلايا العصبية المقابلة لكلمات الطلب.
إذا قررنا حذف كلمة غير ذات صلة ، فإننا نعلق حملًا عليها نوعًا ما ، ونقوم بسحب المفهوم المحذوف والمرتبط به.
نتيجة لذلك ، نحصل على سحابة علامات ، حيث تكون كلمات الاستعلام في الأعلى (الخط الأكبر) ، والمفاهيم ذات الصلة موجودة جنبًا إلى جنب ، وكلما زاد حجم الرابط ، زاد حجم الخط.
يوجد أدناه خريطة دلالية للوثائق التي تم العثور عليها بواسطة الاستعلام "beauty".
عند تحريك الماوس فوق كلمة "أزياء" ، يتم إعادة بناء الخريطة:
إذا قمت بتحريك مؤشر الماوس فوق كلمة "سفر" ، نحصل على خريطة أخرى:
وبالتالي ، يمكننا تحسين الاستعلام عن طريق الإشارة إلى الاتجاه الذي نحتاجه ، وتشكيل السياق الذي نحتاجه.
بالتزامن مع إعادة بناء الخريطة ، نتلقى أيضًا المستندات الأكثر صلة بالسياق المحدد ، ونستبعد الفروع غير الضرورية عن طريق حذف الكلمات غير ذات الصلة.
نقوم ببناء فهرس الوثيقة وفقًا للمبدأ التالي:
هناك 4 طبقات من الخلايا العصبية. طبقة الكلمات ، طبقة المفاهيم (يمكن دمجها في طبقة واحدة) ، طبقة الجمل ، طبقة المستندات.
يمكن ربط الخلايا العصبية ببعضها البعض عن طريق نوعين من التوصيلات - التضخيم والتثبيط. وفقًا لذلك ، يمكن أن يكون كل خلية عصبية في ثلاثة أنواع من الحالات: نشطة ومحايدة ومقموعة. تنقل الخلايا العصبية النشاط عبر الشبكة من خلال تعزيز الاتصالات ومن خلال "المراسي" المثبطة. تعد طبقة المفهوم مفيدة للعمل مع المرادفات ، بالإضافة إلى إبراز المفاهيم "القوية" أو المهمة على الآخرين ، وتحديد فئات المستندات.
على سبيل المثال ، قد ترتبط كلمة Apple في طبقة الكلمة بمفاهيم الفاكهة والمصطلح التشريحي والشركة. زيت - بالزيت والزيت. الكلمة الروسية "جديلة" مع تسريحة ، أداة عمل ، سلاح ، إغاثة. إلخ.
نقوم بتأسيس اتصالات ثنائية الاتجاه - مباشرة وعكسية. يحدث التعلم (التغييرات في الروابط) في مسار واحد عبر المستند استنادًا إلى قاعدة Hebb - نقوم بزيادة الروابط بين الكلمات القريبة من بعضها البعض ، كما نقوم أيضًا بربط الكلمات الموجودة في نفس الجملة أو الفقرة أو المستند بروابط أصغر. كلما تم العثور على الكلمات جنبًا إلى جنب في نفس المستند وداخل مجموعة من المستندات ، زاد الاتصال بينهما.
تتيح لك هذه البنية حل المهام التالية بشكل فعال:
- تحديد وإدارة سياق البحث ؛
- البحث عن الوثائق التي تطابق سياق البحث (ليس فقط تحتوي على كلمات استعلام) ؛
- عرض السياقات الدلالية لمجموعة من الوثائق (ما هي ارتباطات محرك البحث بكلمات الاستعلام) ؛
- تسليط الضوء على الكلمات الرئيسية للوثيقة / الوثائق ؛
- شرح وثيقة
- البحث عن وثائق متشابهة في المعاني.
دعونا نفكر في تنفيذ كل مهمة.
تحديد وإدارة سياق البحث
تم توضيح هذه الحالة في وقت سابق. يقوم المستخدم بإدخال كلمات الاستعلام ، هذه الكلمات تثير كل أولئك المرتبطين بها ، ثم يمكننا إما تحديد المفاهيم الأقرب (مع أقصى قدر من الإثارة) ، أو نقل الإثارة عبر الشبكة من جميع الخلايا العصبية المثارة في الخطوة السابقة ، وهكذا - في هذه الحالة ، تبدأ جمعيات العمل. يتم عرض عدد من الكلمات / المفاهيم الأكثر إثارة على الخريطة (يمكنك أيضًا اختيار ما تريد إظهاره - طبقة من الكلمات أو المفاهيم أو كليهما). إذا لزم الأمر ، تتم إزالة الكلمات غير ذات الصلة (إزالة المفاهيم المرتبطة من الخريطة) ، وبالتالي توفير وصف دقيق لسياق البحث المطلوب.
البحث عن الوثائق المطابقة لسياق البحث
تنقل حالة أول طبقتين من الشبكة في هذه الخطوة الإثارة إلى الطبقات التالية ، التي يتم تصنيف خلاياها العصبية حسب الإثارة ، ونحصل على قائمة بالوثائق مرتبة حسب الصلة ليس فقط بكلمات الاستعلام ، ولكن أيضًا بالسياق الذي تم إنشاؤه.
وبالتالي ، فإن النتائج لن تشمل فقط المستندات التي تحتوي على كلمات الطلب ، ولكن أيضًا تتعلق بها في المعنى. يمكن استخدام المستندات الناتجة لتغيير سياق البحث إما عن طريق تعزيز المفاهيم الواردة في المستندات "الضرورية" بالنسبة لنا ، أو عن طريق تقليل ثقل المفاهيم المرتبطة بالوثائق غير ذات الصلة. بهذه الطريقة ، يمكنك بسهولة وبشكل حدسي تحسين الاستعلام وإدارة نتائج البحث.
عرض السياقات الدلالية لمجموعة من الوثائق
يتيح لك نقل الإثارة في الاتجاه المعاكس ، من المستندات العصبية إلى الخلايا العصبية إلى المفاهيم / الكلمات ، الحصول على خريطة مرئية للسياقات الدلالية الموجودة في مجموعة المستندات. هذه طريقة بديلة للحصول على خريطة علامة ذات مغزى والتنقل في مساحة المعنى. يمكن إجراء هذه العملية بشكل متكرر عن طريق تغيير اتجاه الإثارة - عن طريق استلام مستندات لسياقات البحث ، أو عن طريق تغيير سياق البحث عن المستندات النشطة.
عادةً ما يكون سيناريو محرك البحث على النحو التالي - يتم تشكيل الخريطة الأولية إما على أساس آخر الأخبار أو المقالات الشائعة أو الاستفسارات أو مزيج منها. ثم يمكن للمستخدم إما البدء في تكوين طلب من خلال النقر على الكلمات من الخريطة ، أو عن طريق إنشاء طلب جديد عن طريق إدخال الكلمات التي تهمه في حقل الإدخال.
في خدمة الأطفال Quintura Kids ، حتى الأطفال الذين لم يتمكنوا من الكتابة (أو الذين واجهوا صعوبة في الكتابة) يمكنهم العمل والبحث عن المعلومات الضرورية.
هكذا بدت الخريطة الأولية
، ورأى المستخدم ذلك بعد النقر على كلمة "الفضاء".
تم بناء خدمة الأطفال على مواقع مختارة يدويًا ومعتمدة ، لذلك لا يمكن للطفل رؤية أي شيء من شخص بالغ. هذا ما يفسر العدد القليل من الوثائق التي تم العثور عليها. احتوت النسخة الإنجليزية على عدد أكبر من المستندات - بفضل دليل ياهو للأطفال.
تسليط الضوء على الكلمات الرئيسية للوثيقة / الوثائق
في الواقع تلك الكلمات والمفاهيم التي تصبح نشطة عند نقل الإثارة من طبقة المستندات أو طبقة الجمل هي الكلمات الأساسية. يتم تصنيفها أيضًا حسب النشاط ، ثم يتم قطع مبلغ معين عنها ، والذي يتم عرضه.
هنا قمنا بتطبيق حل آخر. نعتقد أن الإثارة الكلية لكل الكلمات أو المفاهيم هي 100٪. ثم يمكننا التحكم بسهولة في عدد الكلمات التي سنعتبرها كلمات رئيسية عن طريق تعيين النسبة المئوية للنشاط كحد أدنى.
على سبيل المثال ، افترض أن هناك وثيقة تتعامل مع عقد شركة Boeing. عندما تم نقل الإثارة من الخلايا العصبية في هذا المستند إلى طبقة الكلمات / المفاهيم ، كانت الكلمات المعروضة في هذا الشكل متحمسة. إن الإثارة الكلية الموزونة ، التي تم تخفيضها إلى 100٪ ، أعطتنا وزنًا فرديًا لكل كلمة. وإذا أردنا الحصول على 75٪ من "معنى" الكلمات الرئيسية ، فسنرى الكلمات "BOEING" ، "787" ، "DREAMLINER" ، وإذا أردنا رؤية 85٪ من "المعنى" ، فسنضيف "مبيعات" إلى هذه الكلمات.
تتيح لك هذه الطريقة تحديد عدد الكلمات الرئيسية والجمل / المستندات المعروضة تلقائيًا.
علق الوثيقة.
تم أيضًا استلام المقتطفات بالطريقة الموضحة أعلاه. أولاً ، نحصل على الكلمات الأساسية للوثيقة ، وبعد ذلك ، من خلال التوزيع المباشر للإثارة من الكلمات الرئيسية ، نحصل على قائمة من الجمل ، ونرفع أوزان هذه الجمل إلى 100٪ ونقطع المقدار المطلوب من "المعنى" ، وبعد ذلك نعرض هذه الجمل بالترتيب الذي حدثت فيه في نص المستند ...
إيجاد مستندات متشابهة في المعنى
يسمح لنا نقل الإثارة من الخلايا العصبية المقابلة للمستند الذي نبحث عن كلمات / مفاهيم مشابهة في المعنى للطبقة وبعد ذلك في الاتجاه المعاكس لطبقة المستند بالعثور على مستندات مشابهة للأصل في السياق أو المعنى. إذا قمنا بعدة إيقاعات لنقل الإثارة في طبقة الكلمة / المفهوم ، يمكننا توسيع السياق الأصلي. في هذه الحالة ، يمكننا العثور على المستندات التي لا تحتوي على تطابق تام في كل الكلمات ، ولكنها متشابهة في الموضوع.
في الواقع ، يمكن استخدام هذه الآلية لتحديد تشابه أي شيء ، على سبيل المثال ، عن طريق إضافة طبقة إلى الشبكة حيث يتوافق معرف المستخدم مع الخلايا العصبية ، ويمكننا العثور على أشخاص لديهم اهتمامات مماثلة. استبدال طبقة الجمل والمستندات بفهارس لأعمال الموسيقى أو الفيديو ، نحصل على بحث عن الموسيقى / الفيديو.
يتبع
تتناول هذه المقالة فقط المبادئ الأساسية لمحرك البحث المرئي Quintura. على مدى السنوات الست من عمر الشركة ، تم حل العديد من المشكلات المعقدة ، سواء المتعلقة بهندسة الشبكات العصبية الدلالية النشطة أو في بناء مجموعة متسامحة وقابلة للتوسيع. يتألف فهرس البحث من العديد من الشبكات العصبية التي تعمل بالتوازي ، وتم دمج نتيجة هذه الشبكات ، وتم إنشاء خريطة فردية لمصالح المستخدم.
في إطار المشروع ، تم تنفيذ خدمة البحث في الموقع ، ومحرك بحث للأطفال ، وأداة لتحليل النص ، وبدأ العمل في تشكيل علم الأنطولوجيا المعلوماتية للعالم ، وبناء مورفولوجيا الشبكة العصبية ، وتم الحصول على 9 براءات اختراع أمريكية.
ومع ذلك ، لم نتمكن مطلقًا من تحقيق الدخل من نظامنا. في ذلك الوقت ، لم يكن هناك ازدهار في الشبكة العصبية حتى الآن ، ولم نتمكن من الاتفاق مع محركات البحث الكبيرة (كما أخبرنا مهندس أحدها - "لدينا نماذج مختلفة جدًا ولا نفهم كيفية دمجها").
كان لابد من إغلاق المشروع.
أنا شخصياً ، لا يزال لدي "بخس" - لدي رغبة كبيرة في إعطاء حياة ثانية لهذا المشروع. إن معرفة أن الرئيس السابق للإعلان في Google يقوم ببناء محرك بحث خالٍ من الإعلانات حيث يمكن للمستخدمين "الخروج من فقاعة عوامل تصفية تخصيص المحتوى وأدوات التتبع" يعزز فقط ثقتي في مدى ملاءمة تطوراتنا.
سأدرج مرة أخرى ميزات الشبكات العصبية النشطة المبنية على أساس نظرية نيكولاي أموسوف:
- تعلم على الطاير؛
- إضافة كيانات جديدة دون الحاجة إلى إعادة تدريب الشبكة بأكملها ؛
- دلالات واضحة - من الواضح لماذا اتخذت الشبكة هذا القرار أو ذاك ؛
- بنية شبكة موحدة لتطبيقات مختلفة ؛
- بنية بسيطة ، نتيجة لذلك - أداء عالي.
آمل أن تكون هذه المقالة هي الخطوة الأولى في فتح التقنيات المطبقة لعامة الناس من المطورين وستكون بمثابة بداية مشروع مفتوح المصدر للشبكات العصبية الدلالية النشطة لـ Amosov.