MongoDB - الميزات الأساسية

الهدف:



إتقان السمات الأساسية لـ mongodb

• ملء MongoDB بالبيانات ؛
• كتابة استعلامات متعددة لجلب البيانات وتحديثها
• إنشاء الفهارس ومقارنة الأداء.

ملء مستودع البيانات



بحثًا عن البيانات الكافية لاستكشاف القدرات الأساسية لـ MongoDB ، استقرت على مجموعة بيانات NASA Earth Meteorite Landings (1000 سطر بمعلومات حول النيازك التي سقطت على الأرض ، من المستودع https://github.com/jdorfman/awesome- json-datasets .



ملاحظة : تم العثور على معلومات أكثر اكتمالاً (45.7 كيلوبايت) https://data.nasa.gov/Space-Science/Meteorite-Landings/gh4g-9sfh ، لكن التصدير إلى JSON عبر واجهة برمجة التطبيقات الخاصة بهم يعطي 1000 سجل فقط (غير مفهوم) ، من الضروري تجريف البيانات الكاملة لملف CSV المُصدَّر https://data.nasa.gov/api/views/gh4g-9sfh/rows.csv؟accessType=DOWNLOAD ؟



ملاحظة: عفوًا ، من الممكن الحصول على بيانات كاملة في JSON ، لكن هذا اختراق. آمل بصدق ألا يكون هذا إدخال SQL



https :؟ //Data.nasa.gov/api/id/gh4g-9sfh.json $ select = ` name`،` id`، `nametype`،` recclass`، ` mass`، `fall`،` year`، `reclat`،` reclong`، `geolocation` & $ order =`: id` + ASC & $ limit = 46000 & $ offset = 0

wc ./gh4g-9sfh.json
     45716   128491 10441343 ./gh4g-9sfh.json

للتفاعل مع الخادم على الشبكة ، قمت فقط بتثبيت العميل والأدوات على الجهاز المحلي:

wget -qO - https://www.mongodb.org/static/pgp/server-4.4.asc | sudo apt-key add -
echo "deb http://repo.mongodb.org/apt/debian buster/mongodb-org/4.4 main" | sudo tee /etc/apt/sources.list.d/mongodb-org-4.4.list

sudo apt-get update
sudo apt-get install -y mongodb-org-shell
sudo apt-get install -y mongodb-org-tools

التحقق من الاتصال:

mongo nosql-2020.otus --port 32789

    MongoDB shell version v4.4.1
    connecting to: mongodb://nosql-2020.otus:32789/test?compressors=disabled&gssapiServiceName=mongodb
    Implicit session: session { "id" : UUID("5ff24788-0710-4a1a-821f-7acb2eddfb4f") }
    MongoDB server version: 4.4.1
    Welcome to the MongoDB shell.
    For interactive help, type "help".
    For more comprehensive documentation, see
            https://docs.mongodb.com/
    Questions? Try the MongoDB Developer Community Forums
            https://community.mongodb.com

استيراد البيانات من جهاز محلي إلى جهاز بعيد:

mongoimport --host nosql-2020.otus  --db "otus_003" --port 32789 --collection eml45k --jsonArray --file ./003_MONGODB.files/gh4g-9sfh.json
    
    2020-10-12T01:01:13.826+0100    connected to: mongodb://nosql-2020.otus:32789/
    2020-10-12T01:01:16.827+0100    [#######.................] otus_003.eml45k      2.99MB/9.96MB (30.0%)
    2020-10-12T01:01:19.827+0100    [###############.........] otus_003.eml45k      6.44MB/9.96MB (64.6%)
    2020-10-12T01:01:22.827+0100    [#######################.] otus_003.eml45k      9.81MB/9.96MB (98.5%)
    2020-10-12T01:01:23.035+0100    [########################] otus_003.eml45k      9.96MB/9.96MB (100.0%)
    2020-10-12T01:01:23.035+0100    45716 document(s) imported successfully. 0 document(s) failed to import.

ملاحظة : 10 ثوانٍ لكل شيء ، جلب بيانات مضحك

> show databases
admin     0.000GB
config    0.000GB
local     0.000GB
otus_003  0.000GB
test      0.000GB
> use otus_003
switched to db otus_003
> show collections
em
l

نبحث عن نيزك باسم معروف:

> db.eml45k.find({name:"Bjelaja Zerkov"})

    { "_id" : ObjectId("5f8380a91c0ab84b54bfe394"), "name" : "Bjelaja Zerkov", "id" : "5063", "nametype" : "Valid", "recclass" : "H6", "mass" : "1850", "fall" : "Fell", "year" : "1796-01-01T00:00:00.000", "reclat" : "49.783330", "reclong" : "30.166670", "geolocation" : { "latitude" : "49.78333", "longitude" : "30.16667" } }

نبحث عن نيزك بإحداثيات معروفة:

> db.eml45k.find({ "geolocation" : { "latitude" : "44.83333" , "longitude" : "95.16667" } })

{ "_id" : ObjectId("5f8380a91c0ab84b54bfe322"), "name" : "Adzhi-Bogdo (stone)", "id" : "390", "nametype" : "Valid", "recclass" : "LL3-6", "mass" : "910", "fall" : "Fell", "year" : "1949-01-01T00:00:00.000", "reclat" : "44.833330", "reclong" : "95.166670", "geolocation" : { "latitude" : "44.83333", "longitude" : "95.16667" } }

إحضار قائمة بالنيازك الساقطة مرتبة حسب سنة الخريف (أتساءل لماذا ليس لدى ناسا وقت سقوط محدد في توقيت غرينتش) ومع قائمة محدودة من الحقول القابلة للاختيار:

> db.eml45k.find( { }, {year: 1, id: 1, name: 1, _id: 0 }).sort( { year: -1 } )

{ "name" : "Northwest Africa 7701", "id" : "57150", "year" : "2101-01-01T00:00:00.000" }
{ "name" : "Chelyabinsk", "id" : "57165", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7755", "id" : "57166", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7812", "id" : "57258", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7822", "id" : "57268", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7856", "id" : "57421", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7855", "id" : "57420", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7857", "id" : "57422", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7858", "id" : "57423", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7861", "id" : "57425", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7862", "id" : "57426", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Northwest Africa 7863", "id" : "57427", "year" : "2013-01-01T00:00:00.000" }
{ "name" : "Battle Mountain", "id" : "56133", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Sutter's Mill", "id" : "55529", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Antelope", "id" : "57455", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Catalina 009", "id" : "57173", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Jiddat al Harasis 799", "id" : "57428", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Johannesburg", "id" : "55765", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Ksar Ghilane 011", "id" : "55606", "year" : "2012-01-01T00:00:00.000" }
{ "name" : "Ksar Ghilane 010", "id" : "55605", "year" : "2012-01-01T00:00:00.000" }
Type "it" for more
>

شيء لم أجده؟ كيفية الجمع بين حقلين مباشرة عند التحديد:

"geolocation" : { "latitude" : "49.78333", "longitude" : "30.16667" } 

إلى حد ما (تجدر الإشارة إلى أنه تم تغيير الترتيب وفقًا للوثائق ( https://docs.mongodb.com/manual/geospatial-queries/#geospatial-legacy ، أي

< field >: [< longitude >, < latitude >]):

"geolocation" : { "type" : "Point", "coordinates" : [  30.16667 , 49.78333 ] } }

مباشرة عندما يُطلب منك القيام (من يدري؟) بشيء مثل هذا:

> db.eml45k.find({ 
    [ 
        {$toDouble: "$geolocation.longitude"} ,
        {$toDouble: "$geolocation.latitude"} 
    ] : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    ... ,
                ]]
            }
        }
    }
}) 

لذلك ، قمت بإنشاء مجال اصطناعي في المجموعة:

db.eml45k.updateMany( 
    {},
    [{
        $set: {
            "pointed_geolocation.type" : "Point",
            "pointed_geolocation.coordinates" : [ 
                { $toDouble : "$geolocation.longitude" } , 
                { $toDouble: "$geolocation.latitude" } 
            ]
        }
    }]
);

{ "acknowledged" : true, "matchedCount" : 45716, "modifiedCount" : 45716 }

ويمكننا أخيرًا البحث عن نيازك غير مكتشفة سقطت في منطقة معينة:

> db.eml45k.find({ 
    "pointed_geolocation.coordinates" : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    [ 47.0 , 33.0  ], 
                    [ 47.0 , 65.0 ], 
                    [ 169.0 , 65.0 ],
                    [ 169.0 ,  33.0 ],
                    [ 47.0 , 33.0 ]
                ]]
            }
        }
    },
    'fall': 'Fell'
},
{ 
    year: {$year: { "$toDate": "$year"}}, 
    "pointed_geolocation.coordinates": 1, 
    name: 1, 
    _id: 0 
}).sort( { year: -1 } )

الغريب ، لم أكن أعرف أن تشيليابنسكي لم تكن مدرجة في فئة وجدت.



دعنا نجمع ونجد عدد العناصر التي تم العثور عليها وكم لم يتم العثور عليها:

db.eml45k.aggregate([
{ $match: { 
    "pointed_geolocation.coordinates" : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    [ 47.0 , 33.0  ], 
                    [ 47.0 , 65.0 ], 
                    [ 169.0 , 65.0 ],
                    [ 169.0 ,  33.0 ],
                    [ 47.0 , 33.0 ]
                ]]
            }
        }
    }
} },
    {"$group" : {_id: "$fall", count: { $sum: 1 }}}
])

{ "_id" : "Fell", "count" : 26 }
{ "_id" : "Found", "count" : 63 }

في المجموع ، تم العثور على 63 من 89 ، و __26__ - __لا__ تم العثور عليها ، لذلك هناك فرصة :)



استخدام الفهارس ،



دعنا نزيل جميع الفهارس في المجموعة من التجارب السابقة:

db.eml45k.dropIndexes()

{
        "nIndexesWas" : 1,
        "msg" : "non-_id indexes dropped for collection",
        "ok" : 1
}

دعنا نحاول معرفة وقت التنفيذ المقدر للطلب:

db.eml45k.find({ 
    "pointed_geolocation.coordinates" : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    [ 47.0 , 33.0  ], 
                    [ 47.0 , 65.0 ], 
                    [ 169.0 , 65.0 ],
                    [ 169.0 ,  33.0 ],
                    [ 47.0 , 33.0 ]
                ]]
            }
        }
    }
}).explain("executionStats").executionStats.executionTimeMillis
...
110
...
110
...
109

النتيجة حوالي 110 ثانية في المتوسط.



دعونا نفهرس:

db.eml45k.createIndex( { "pointed_geolocation" : "2dsphere" } )

    {
        "ok" : 0,
        "errmsg" : "Index build failed: 98b9ead2-c156-4312-81af-1adf5896e3c9: Collection otus_003.eml45k ( 6db2d178-61b5-4627-8512-fcf919fe596f ) :: caused by :: Can't extract geo keys: { _id: ObjectId('5f838e30fb89bd9d553ae27f'), name: \"Bulls Run\", id: \"5163\", nametype: \"Valid\", recclass: \"Iron?\", mass: \"2250\", fall: \"Fell\", year: \"1964-01-01T00:00:00.000\", pointed_geolocation: { type: \"Point\", coordinates: [ null, null ] } }  Point must only contain numeric elements",
        "code" : 16755,
        "codeName" : "Location16755"
    }

الخطأ ناتج عن قيم NULL ، لم أجد شيئًا على الفور كيف (من يعرف؟) لاستبعاده من الفهرس أثناء الفهرسة ، لذلك سأحذف هذه المفاتيح:

db.eml45k.updateMany(
    { "pointed_geolocation.coordinates" : [ null , null ] },     
    [{         
        $set: { "pointed_geolocation": null }
    }] 
);

حاول الفهرس مرة أخرى

db.eml45k.createIndex( { "pointed_geolocation" : "2dsphere" } )
    
    {
        "ok" : 0,
        "errmsg" : "Index build failed: d33b31d4-4778-4537-a087-58b7bd1968f3: Collection otus_003.eml45k ( 6db2d178-61b5-4627-8512-fcf919fe596f ) :: caused by :: Can't extract geo keys: { _id: ObjectId('5f838e35fb89bd9d553b3b8f'), name: \"Meridiani Planum\", id: \"32789\", nametype: \"Valid\", recclass: \"Iron, IAB complex\", fall: \"Found\", year: \"2005-01-01T00:00:00.000\", reclat: \"-1.946170\", reclong: \"354.473330\", geolocation: { latitude: \"-1.94617\", longitude: \"354.47333\" }, pointed_geolocation: { type: \"Point\", coordinates: [ 354.47333, -1.94617 ] } }  longitude/latitude is out of bounds, lng: 354.473 lat: -1.94617",
        "code" : 16755,
        "codeName" : "Location16755"
    }

الخطأ __longitude / latitude خارج الحدود ، lng: 354.473 lat: -1.94617__ وفي الوثائق https://docs.mongodb.com/manual/geospatial-queries/#geospatial-legacy

    Valid longitude values are between -180 and 180, both inclusive.
    Valid latitude values are between -90 and 90, both inclusive.

و 354.47333 غير مدرج في النطاق من -180 إلى 180.



غريب جدًا ، في البداية اعتقدت أنه يجب إجراء تعديل في كل مكان عن طريق ناقص 180

(`$subtract: [{ $toDouble : "$geolocation.longitude" }, 180.0]`)

، ولكن في النهاية كل شيء ليس بهذه البساطة.



ما هي خطوط الطول التي ليست في النطاق:

db.eml45k.find({"pointed_geolocation.coordinates.0": {$lt: -180}} ) #  ,    
db.eml45k.find({"pointed_geolocation.coordinates.0": {$lt: 0}} ) #   ,    
db.eml45k.find({"pointed_geolocation.coordinates.0": {$gt: 180}} ) #  ,     


    { "_id" : ObjectId("5f838e35fb89bd9d553b3b8f"), "name" : "Meridiani Planum", "id" : "32789", "nametype" : "Valid", "recclass" : "Iron, IAB complex", "fall" : "Found", "year" : "2005-01-01T00:00:00.000", "reclat" : "-1.946170", "reclong" : "354.473330", "geolocation" : { "latitude" : "-1.94617", "longitude" : "354.47333" }, "pointed_geolocation" : { "type" : "Point", "coordinates" : [ 354.47333, -1.94617 ] } }

نتيجة لذلك ، نيزك واحد فقط له إحداثيات غريبة. بعد البحث ، اكتشفت أن هذا النيزك Meridiani Planum تم العثور عليه عن طريق الخطأ بواسطة مركبة Opportunity في عام 2005

( http://old.mirf.ru/Articles/art2427_2.htm ). هذا ( تحذير ) نيزك مريخي تم العثور عليه ( تحذير ) على المريخ. هنا جوكر ناسا.



دعونا نحذفه من المجموعة.

db.eml45k.remove({"id" : "32789"})
WriteResult({ "nRemoved" : 1 })

الفهرسة

> db.eml45k.createIndex( { "pointed_geolocation" : "2dsphere" } )
{
        "createdCollectionAutomatically" : false,
        "numIndexesBefore" : 1,
        "numIndexesAfter" : 2,
        "ok" : 1
}

نحن نقيس أو نحسب

db.eml45k.find({ 
    "pointed_geolocation.coordinates" : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    [ 47.0 , 33.0  ], 
                    [ 47.0 , 65.0 ], 
                    [ 169.0 , 65.0 ],
                    [ 169.0 ,  33.0 ],
                    [ 47.0 , 33.0 ]
                ]]
            }
        }
    }
}).explain("executionStats").executionStats.executionTimeMillis

نتيجة لذلك ، عند إعادة الفحص 104 ... 107 ... 106 ...



إنه نوع غريب ، ليس ذكيًا جدًا.



الفهرس المحذوف ، محدد.



بدون فهرس وبفهرس - نفس الشيء.



أحاول ذلك بشكل منفصل لـ Chelyabinsk:

db.eml45k.find(
    {"pointed_geolocation.coordinates" : [ 61.11667, 54.81667 ]}
).explain("executionStats").executionStats.executionTimeMillis

بدون فهرس وبفهرس - نفس الشيء.



يجب أن تكون أكثر حرصًا ، فقد تم إنشاء الفهرس لحقل الموقع الجغرافي المدبب ، وتشارك إحداثيات الموقع المدبب في الاستعلام .



ونتيجة لذلك ، فإن الاستعلام

db.eml45k.find({ 
    "pointed_geolocation" : {
        $geoWithin: {
            $geometry: {
                type : "Polygon" ,
                coordinates: [[
                    [ 47.0 , 33.0  ], 
                    [ 47.0 , 65.0 ], 
                    [ 169.0 , 65.0 ],
                    [ 169.0 ,  33.0 ],
                    [ 47.0 , 33.0 ]
                ]]
            }
        }
    }
}).explain("executionStats").executionStats.executionTimeMillis

بدون الفهرس 125 ، 123 ، 119 ، 123 ميلي ثانية ، ومع الفهرس - 7 ، 4 ، 4 ، 5.



كل شيء نجح.