قل كلمة عن البحث المحلي

في العصور القديمة ، كنت أعمل كمتخصص في تكنولوجيا المعلومات في شركة واحدة ، وفي وقت ما ظهرت مهمة البحث في مخزن محلي للوثائق. كان من المرغوب فيه البحث ليس فقط باسم الملف ، ولكن أيضًا عن طريق المحتوى. في ذلك الوقت ، كانت آليات البحث المحلية مثل أمين المحفوظات لا تزال شائعة ، وحتى أنه كان هناك محرك بحث منفصل عن Yandex. لكن هذه لم تكن حلولًا مؤسسية ؛ ولا يمكن نشرها مركزيًا للمشاركة. بدأت Yandex ، من أجل الصدق ، في القيام بشيء مماثل ، لكنها تخلت عنه بعد ذلك.



لكن كل هذه الحلول لم يكن لديها ما أحتاجه:

• التثبيت المركزي
• نتائج البحث مع مراعاة حقوق الوصول
• البحث عن طريق محتوى الوثيقة
• علم التشكل المورفولوجيا

وقررت أن أصنع خاصتي.



سوف أفصح نقطة تلو الأخرى عما لدي في النموذج لتجنب الاختلاف في التفسير وسوء الفهم.

التثبيت المركزي - تنفيذ خادم العميل. تحتوي جميع الحلول المذكورة أعلاه على مشكلة أساسية واحدة - يقوم كل مستخدم بعمل فهرس بحث محلي خاص به ، والذي ، في حالة أحجام التخزين الكبيرة ، يؤخر الفهرسة ، وينمو ملف تعريف المستخدم على الجهاز ، ويكون بشكل عام غير مريح في حالة وصول موظف جديد أو الانتقال إلى جهاز جديد.



نتائج البحث مع مراعاة الحقوق - كل شيء بسيط هنا - يجب أن تتوافق النتائج مع حقوق الموظف في مورد الملف. خلاف ذلك ، اتضح أنه حتى لو لم يكن للموظف حقوق في المورد ، يمكنه قراءة كل شيء من ذاكرة التخزين المؤقت للبحث. سوف يتحول إلى محرج ، توافق؟ ابحث بمحتوى المستند - ابحث بنص المستند ، كل شيء واضح هنا ، كما يبدو لي ، ولا يمكن أن يكون هناك تناقضات.



علم الصرف هو أبسط. محدد في طلب البحث "سكين" وحصل على كل من "سكين" و "سكاكين" و "سكين" و "سكين". من المستحسن لهذا العمل باللغتين الروسية والإنجليزية.

لقد قررنا صياغة المشكلة ، يمكننا المضي قدمًا في التنفيذ.



كمحرك بحث ، اخترت نظام Sphinx ، وكانت لغة تطوير الواجهة هي C # و. net ، ونتيجة لذلك تم تسمية المشروع Vidocq (Vidocq) على اسم المخبر الفرنسي. حسنًا ، مثل ، يجد كل شيء وهذا كل شيء.



من الناحية المعمارية ، يبدو التطبيق كما يلي: يقوم



روبوت البحث بالزحف بشكل متكرر إلى مورد ملف ويعالج الملفات وفقًا لقائمة معينة من الامتدادات. تتمثل المعالجة في استرداد محتويات الملف ، وضغط النص - تتم إزالة علامات الاقتباس ، والفواصل ، والمسافات الزائدة ، وما إلى ذلك من النص ، ثم يتم وضع المحتوى في قاعدة البيانات (MS SQL) ، ويتم تحديد تاريخ التنسيب ويتحرك الروبوت.



يعمل مفهرس Sphins مباشرة مع القاعدة المستلمة ، ويشكل فهرسًا خاصًا به ويعيد المؤشر إلى الملف الموجود ومقتطفًا من جزء النص الموجود كرد فعل.



تم تطوير نموذج في C # يتواصل مع أبو الهول من خلال موصل MySQL. يعطي Sphinx مجموعة من الملفات وفقًا للطلب ، ثم يتم تصفية المصفوفة لحق وصول المستخدم الذي يبحث ، ويتم تنسيق الإخراج وعرضه للمستخدم.



نحتاج إلى تخزين المعلومات التالية حول الملف:

• معرف الملف
• اسم الملف
• مسار الملف
• محتويات الملف
• توسيع
• تمت إضافة التاريخ إلى قاعدة البيانات

يتم كل ذلك في جدول واحد وسيضيف روبوت البحث كل شيء إليه. يعد تاريخ الإضافة ضروريًا حتى عندما يقارن الروبوت في الجولة التالية تاريخ تعديل الملف مع تاريخ وضعه في قاعدة البيانات ، وإذا اختلفت التواريخ ، فقم بتحديث المعلومات حول الملف.



ثم قم بإعداد محرك البحث نفسه. لن أصف التكوين بالكامل ، سيكون متاحًا في أرشيف المشروع ، لكنني سأغطي فقط النقاط الرئيسية.



الطلب الرئيسي الذي يشكل قاعدة



المستندات المصدر: documents_base

{
	sql_query = \
	select \
	DocumentId as 'Id', \
	DocumentPath as 'Path', \
	DocumentTitle as 'Title', \
	DocumentExtention as 'Extension', \
	DocumentContent as 'Content' \
	from \
	VidocqDocs
}

إعداد مورفولوجيا من خلال lemmatizer.

index documents
{
	source 			= documents
	path 			= D:/work/VidocqSearcher/Sphinx/data/index
    morphology 		= lemmatize_ru_all, lemmatize_en_all
}

بعد ذلك ، يمكنك ضبط المفهرس على القاعدة والتحقق من العمل.

d:\work\VidocqSearcher\Sphinx\bin\indexer.exe documents --config D:\work\VidocqSearcher\Sphinx\bin\main.conf –rotate

هنا يتبع المسار إلى المفهرس اسم الفهرس الذي يتم وضع المؤشر المعالج فيه ، ويعني المسار إلى التكوين وعلامة الدوران أن الفهرسة ستتم على ربح ، أي مع تشغيل خدمة البحث. بعد اكتمال الفهرسة ، سيتم استبدال الفهرس بالفهرس المحدث.



نتحقق من العمل في وحدة التحكم. كواجهة ، يمكنك استخدام عميل MySQL المأخوذ ، على سبيل المثال ، من مجموعة خادم الويب.

mysql -h 127.0.0.1 -P 9306

بعد هذا الطلب حدد معرف من الوثائق. يجب أن تعيد قائمة بالوثائق المفهرسة ، إذا ، بالطبع ، بدأت خدمة Sphinx نفسها وفعلت كل شيء بشكل صحيح.

حسنًا ، وحدة التحكم رائعة ، لكننا لن نجبر المستخدمين على كتابة الأوامر ، أليس كذلك؟



لقد رسمت نموذجًا مثل هذا







وهنا مع نتائج البحث







عند النقر فوق نتيجة معينة ، يتم فتح مستند.



كيف يتم تنفيذه.

using MySql.Data.MySqlClient;
string connectionString = "Server=127.0.0.1;Port=9306";
            var query = "select id, title, extension, path, snippet(content, '" + textBoxSearch.Text.Trim() + "', 'query_mode=1') as snippet from documents " +
                "where ";
            if (checkBoxTitle.IsChecked == true && checkBoxContent.IsChecked == true)
            {
                query += "match ('@(title,content)" + textBoxSearch.Text.Trim() + "')";
            }
            
            if (checkBoxTitle.IsChecked == false && checkBoxContent.IsChecked == true)
            {
                query += "match ('@content" + textBoxSearch.Text.Trim() + "')";
            }
            
            if (checkBoxTitle.IsChecked == true && checkBoxContent.IsChecked == false)
            {
                query += "match ('@title" + textBoxSearch.Text.Trim() + "')";
            }
            
            

            if (checkBoxWord.IsChecked == true && checkBoxText.IsChecked == true)
            {
                query += "and extension in ('.docx', '.doc', '.txt');";
            }
            if (checkBoxWord.IsChecked == true && checkBoxText.IsChecked == false)
            {
                query += "and extension in ('.docx', '.doc');";
            }

            if (checkBoxWord.IsChecked == false && checkBoxText.IsChecked == true)
            {
                query += "and extension in ('.txt');";
            }

نعم ، يوجد كود bydloc ، لكن هذا هو MVP.



في الواقع ، يتم هنا تشكيل طلب إلى أبو الهول ، اعتمادًا على مربعات الاختيار المحددة. تشير مربعات الاختيار إلى نوع الملفات المراد البحث فيها ومنطقة البحث.



ثم يذهب الطلب إلى أبو الهول ، ثم يتم تحليل النتيجة.

using (var command = new MySqlCommand(query, connection))
            {
                connection.Open();

                using (var reader = command.ExecuteReader())
                {
                    while (reader.Read())
                    {
                        var id = reader.GetUInt16("id");
                        var title = reader.GetString("title");
                        var path = reader.GetString("path");
                        var extension = reader.GetString("extension");
                        var snippet = reader.GetString("snippet");
                        bool isFileExist = File.Exists(path);
                        if (isFileExist == true)
                        {
                            System.Windows.Controls.RichTextBox textBlock = new RichTextBox();
                            textBlock.IsReadOnly = true;
                            string xName = "id" + id.ToString();
                            textBlock.Name = xName;
                            textBlock.Tag = path;
                            textBlock.GotFocus += new System.Windows.RoutedEventHandler(ShowClickHello);
                            snippet = System.Text.RegularExpressions.Regex.Replace(snippet, "<.*?>", String.Empty);
                            Paragraph paragraph = new Paragraph();
                            paragraph.Inlines.Add(new Bold(new Run(path + "\r\n")));
                            paragraph.Inlines.Add(new Run(snippet));
                            textBlock.Document = new FlowDocument(paragraph);
                            StackPanelResult.Children.Add(textBlock);
                        }
                        else
                        {
                            counteraccess--;
                        }
                    }
                }
            }

في نفس المرحلة ، يتم إنشاء المشكلة. كل عنصر من عناصر المشكلة عبارة عن مربع نص منسق به حدث لفتح مستند عند النقر. يتم وضع العناصر على StackPanel وقبل ذلك يتم فحص الملف للمستخدم. وبالتالي ، لن يتم تضمين الملف الذي يتعذر على المستخدم الوصول إليه في الإخراج.

مزايا هذا الحل:

• تتم الفهرسة مركزيًا
• عرض دقيق على أساس حقوق الوصول
• بحث قابل للتخصيص حسب نوع الوثيقة

بالطبع ، من أجل التشغيل الكامل لمثل هذا الحل ، يجب تنظيم أرشيف الملف بشكل صحيح في الشركة. من الناحية المثالية ، يجب تكوين ملفات تعريف المستخدمين المتجولة وما إلى ذلك. ونعم ، أعرف شيئًا عن SharePoint و Windows Search وعلى الأرجح بعض الحلول الأخرى. ثم يمكنك مناقشة اختيار منصة التطوير ، أو محرك بحث Sphinx ، أو Manticore أو Elastic ، وما إلى ذلك. لكنني كنت مهتمًا بحل المشكلة باستخدام الأدوات التي أفهمها قليلاً. إنه يعمل حاليًا في وضع MVP ، لكني أقوم بتطويره.



لكن على أي حال ، أنا مستعد للاستماع إلى اقتراحاتكم حول النقاط التي يمكن تحسينها أو إعادة بنائها في مهدها.