Clever Geek Handbook

أدوات البيانات الكبيرة EAP 10: أنفاق SSH ، وتصفية التطبيقات ، والوحدات النمطية المخصصة ، والمزيد

تم إطلاق إصدار جديد من المكوِّن الإضافي Big Data Tools - وهو مكون إضافي لـ IntelliJ IDEA Ultimate و DataGrip و PyCharm الذي يوفر التكامل مع Hadoop و Spark ، ويسمح لك بتحرير وتشغيل أجهزة الكمبيوتر المحمولة التفاعلية في Zeppelin.



الهدف الرئيسي من هذا الإصدار هو إصلاح أكبر عدد ممكن من المشكلات وتحسين المكوِّن الإضافي من الداخل ، ولكن هناك تحسينان مهمان مرئيان للعين المجردة:



  • أصبح الاتصال بـ Hadoop و Spark ممكنًا الآن عبر أنفاق SSH ، التي تم إنشاؤها بواسطة بضع نقرات بالماوس ؛
  • يمكن أن تحد مراقبة Hadoop من كمية البيانات التي يتم تحميلها عند عرض قائمة التطبيقات.




أنفاق SSH



في كثير من الأحيان ، لا يمكن الوصول إلى الخادم الذي نحتاجه بشكل مباشر ، على سبيل المثال ، إذا كان موجودًا داخل دائرة شركة محمية أو مغلقًا بقواعد خاصة على جدار الحماية. للدخول ، يمكنك استخدام نوع من الأنفاق أو VPN. أبسط الأنفاق ، الموجودة دائمًا ، هو SSH.



يمكنك إنشاء نفق باستخدام أمر وحدة تحكم واحد:



ssh -f -N -L 1005:127.0.0.1:8080 user@spark.server


سيساعد الملف في أتمتة العملية قليلاً ~/.ssh/config، حيث تقوم بحفظ معلمات الاتصال مرة واحدة ثم استخدام:



Host spark
    HostName spark.server
    IdentityFile ~/.ssh/spark.server.key
    LocalForward 1005 127.0.0.1:8080
    User user


ssh -f -N spark — , IP-. .



.



-, - . -f -N -L? , — ? ? , , .



-, , IDE. , , , IDE .



, Big Data Tools SSH-.





, , SSH.



Enable tunneling :



  • Zeppelin
  • HDFS
  • Hadoop
  • Spark Monitoring


, , SSH. : , , , .



, . - , SSH, VPN .



BDIDE-1063 YouTrack.





, Spark Monitoring , , .





, .



Big Data Tools , . , .



, .



BDIDE-1077.



Zeppelin



Zeppelin JAR-. Big Data Tools , IDE .



Zeppelin, Big Data Tools . , , . Big Data Tools , IntelliJ IDEA.



Maven JAR-. , -, .



. "User dependencies":





BDIDE-1087.





Big Data Tools — , . , . EAP 10 , Spark Monitoring.





More articles:


All Articles