كيفية تحميل البيانات إلى Google BigQuery

تم إعداد ترجمة المقال عشية بدء دورة "قواعد البيانات غير العلائقية" .

---

في هذه المقالة ، سننظر في خيارات تحميل البيانات إلى تخزين Google BigQuery السحابي. يتضمن ذلك طرقًا سهلة لتحميل البيانات من ملفات CSV / JSON وطرق التحميل عبر API أو الامتداد.



باستخدام Google BigQuery (GBQ) ، يمكنك جمع البيانات من مصادر مختلفة وتحليلها باستخدام استعلامات SQL. من بين مزايا GBQ سرعة الحساب العالية حتى مع أحجام البيانات الكبيرة والتكلفة المنخفضة.



لماذا تحتاج إلى تحميل البيانات إلى مستودع واحد؟ إذا كنت ترغب في استخدام تحليلات شاملة وإنشاء تقارير من البيانات الأولية وقياس فعالية التسويق الخاص بك ، فأنت بحاجة إلى Google BigQuery.



إذا كنت بحاجة إلى تحليل تيرابايت من البيانات في ثوانٍ ، فإن Google BigQuery هو الخيار الأسهل والأكثر تكلفة. يمكنك معرفة المزيد حول هذه الخدمة من خلال مشاهدة مقطع فيديو قصير على قناة Google Developers على YouTube .

إنشاء مجموعة بيانات وجدول

قبل تحميل أي بيانات ، عليك أولاً إنشاء مجموعة بيانات وجدول في Google BigQuery. لإجراء ذلك ، في صفحة BigQuery الرئيسية ، حدد المورد الذي تريد إنشاء مجموعة بيانات فيه.





تم توفير الصور المستخدمة في المقالة بواسطة المؤلف.



حدد معرّف مجموعة البيانات في نافذة "إنشاء مجموعة بيانات" ، وحدد موقع معالجة البيانات وعيّن فترة التخزين الافتراضية للجدول.

ملاحظة: إذا اخترت "أبدًا" كتاريخ انتهاء الصلاحية للجدول ، فلن يتم تحديد التخزين المادي. بالنسبة للجداول المؤقتة ، يمكنك تحديد عدد الأيام للاحتفاظ بها.







ثم قم بإنشاء جدول في مجموعة البيانات.







منجز! الآن يمكنك البدء في تنزيل البيانات.

تحميل البيانات باستخدام جداول بيانات Google (ملحق تقارير OWOX BI BigQuery).

إذا كنت بحاجة إلى تحميل بيانات من جداول بيانات Google إلى Google BigQuery ، فإن أسهل طريقة للقيام بذلك هي تثبيت ملحق OWOX BI BigQuery Reports المجاني.



يمكنك تثبيت هذا الامتداد مباشرة من جداول بيانات Google أو من سوق Chrome الإلكتروني .







بعد تثبيته ، يظهر مربع حوار مع المطالبات والمطالبة بالأذونات.







حان الوقت الآن للعودة إلى جداول بيانات Google. لتحميل البيانات إلى BigQuery ، ما عليك سوى تحديد تحميل البيانات إلى BigQuery من الوظائف الإضافية -> تقارير OWOX BI BigQuery.







حدد المشروع ومجموعة البيانات واسم الجدول لتحميل البيانات فيه. وهذا كل شيء :)



الميزة التي لا جدال فيها لامتداد OWOX BI BigQuery Reports هي سهولة استخدامه. يمكنك أيضًا استخدام الامتداد لتخصيص التقارير المجدولة.



لإنشاء تقارير تستند إلى بيانات أولية دقيقة من جميع المصادر وتحميلها تلقائيًا إلى مستودع Google BigQuery ، نوصي باستخدام خدمة OWOX BI Pipeline .



باستخدام Pipeline ، يمكنك إعداد جمع تلقائي للبيانات من خدمات الإعلان وأنظمة تتبع المكالمات وإدارة علاقات العملاء. يتيح لك ذلك استرداد مجموعات البيانات الكاملة بسرعة وسهولة من المصادر التي تختارها.







ما عليك سوى اختيار مصادر البيانات الخاصة بك والسماح بالوصول ؛ اترك الباقي لـ OWOX BI .



باستخدام OWOX BI ، يمكنك إنشاء تقارير لأي ذوق ولون ، بدءًا من العائد على الاستثمار وتأثير ROPO والتحليل الجماعي إلى تحليل LTV و RFM.

تحميل البيانات من ملفات CSV

لتحميل البيانات من ملف CSV ، حدد مصدر البيانات في نافذة إنشاء الجدول واستخدم خيار التحميل.







ثم حدد الملف وتنسيقه.







بعد ذلك ، تحتاج إلى تحديد وجهة البيانات عن طريق تحديد اسم المشروع ومجموعة البيانات.



ملاحظة: في Google BigQuery ، يمكنك تحديد نوعين من الجداول: أصلية وخارجية.









سيكتشف Google BigQuery تلقائيًا بنية الجدول ، ولكن إذا كنت تريد إضافة الحقول يدويًا ، فيمكنك استخدام إما وظيفة تحرير النص أو زر + إضافة حقل.



ملاحظة: إذا كنت تريد التدخل في تحليل البيانات من ملف CSV إلى Google BigQuery ، فيمكنك استخدام الخيارات المتقدمة.







لمزيد من المعلومات حول تنسيق CSV ، راجع الوثائق التفصيلية من جمعية الإنترنت.

تحميل البيانات من ملفات JSON

لتحميل البيانات من ملف JSON ، كرر جميع الخطوات المذكورة أعلاه: قم بإنشاء أو تحديد مجموعة بيانات وجدول تعمل عليهما - اختر JSON فقط كتنسيق الملف.

يمكنك تحميل ملف JSON من جهاز الكمبيوتر الخاص بك أو Google Cloud Storage أو Google Drive.







ملاحظة: لمزيد من المعلومات حول تنسيق JSON ، راجع وثائق Google Cloud.

تنزيل البيانات من Google Cloud Storage.

يتيح لك Google Cloud Storage تخزين البيانات ونقلها بأمان عبر الإنترنت.



معلومات مفيدة حول استخدام هذه الخدمة:



بدء استخدام

وثائق التخزين السحابي من Google Cloud Storage

أدلة البدء السريع

اختيار التخزين وقاعدة البيانات على Google Cloud Platform



يمكنك تحميل الملفات من Google Cloud Storage إلى Google BigQuery بالتنسيقات التالية:

• CSV
• JSON (سطر جديد محدد)
• أفرو
• ارضية خشبية
• مسخ
• سحابة Datastore

يمكنك قراءة المزيد حول استخدام التخزين السحابي مع البيانات الضخمة في الوثائق الرسمية .



يمكنك أيضا معرفة المزيد عن سحابة التخزين حدود تحميل و أذونات في مركز مساعدة Google الغيمة.

تحميل البيانات من خدمات Google الأخرى مثل إعلانات Google و Google Ad Manager.

لتنزيل البيانات من خدمات Google المتنوعة ، تحتاج أولاً إلى إعداد BigQuery Data Transfer Service. قبل أن تتمكن من استخدامه ، يجب عليك تحديد أو إنشاء مشروع بيانات ، وفي معظم الحالات ، تمكين الفوترة له. على سبيل المثال ، الفواتير مطلوبة للخدمات التالية:

• مدير حملة
• مدير إعلانات جوجل
• إعلانات جوجل
• جوجل بلاي (تجريبي)
• يوتيوب - تقارير القناة
• YouTube - تقارير مالك المحتوى

ملاحظة: لمزيد من المعلومات حول إعداد الفواتير وتغييرها ، راجع Google Cloud Help Center.



لبدء تشغيل BigQuery Data Transfer Service ، في صفحة BigQuery الرئيسية ، حدد التحويلات من القائمة الموجودة على اليسار.







ملاحظة: أنت بحاجة إلى حقوق المسؤول لإنشاء تحويل.



في النافذة التالية ، كل ما عليك فعله هو اختيار مصدر البيانات المطلوب.







ملاحظة: يمكن الوصول إلى BigQuery Data Transfer Service ليس فقط من وحدة تحكم النظام الأساسي ، ولكن أيضًا من:

• كلاسيك bq_ui
• أداة سطر الأوامر bq
• واجهة برمجة تطبيقات BigQuery Data Transfer Service

بمجرد الإعداد ، ستحمّل الخدمة البيانات تلقائيًا وبشكل منتظم إلى BigQuery. ومع ذلك ، لا يمكنك استخدامه لتنزيل البيانات من BigQuery.

تحميل البيانات باستخدام API

باستخدام Cloud Client Libraries ، يمكنك استخدام لغة البرمجة المفضلة لديك للعمل مع Google BigQuery API.



ملاحظة: يمكن العثور على مزيد من المعلومات حول تحميل البيانات باستخدام API في وثائق Google Cloud .



أولاً ، تحتاج إلى إنشاء أو تحديد المشروع الذي ستعمل به. ثم في الصفحة الرئيسية ، انتقل إلى قسم API.







في نافذة نظرة عامة على API ، يمكنك توصيل واجهات برمجة التطبيقات والخدمات. تحتاج إلى تحديد API التي تحتاجها من المكتبة.







في المكتبة ، يمكنك استخدام البحث الميداني أو تصفية API حسب الفئة.







يمكنك استخدام مجموعة من نصوص Python النصية من OWOX BI لأتمتة استيراد البيانات إلى Google BigQuery.

توجد نصوص برمجية لأتمتة استيراد البيانات إلى Google BigQuery من المصادر التالية:

• amoCRM
• بروتوكول نقل الملفات
• FTPS
• HTTP (S)
• انتركم
• ExpertSender
• MySQL
• SFTP

يمكن تنزيل نصوص Python النصية هذه من GitHub .



ملاحظة: تعرف على كيفية استخدام Python مع Google API في هذا الفيديو التعليمي من Google Developers على YouTube .

الاستنتاجات

في هذه المقالة ، تناولنا أكثر الطرق شيوعًا لتحميل البيانات في Google BigQuery. بدءًا من التحميل البسيط لملف البيانات إلى تحميل البيانات عبر واجهة برمجة التطبيقات ، يمكن لأي مستخدم العثور على الملف الذي يناسبه.