تم إصدار تحديث آخر لـ EAP 11 لمكوِّن إضافي يسمى Big Data Tools ، وهو متاح للتثبيت في IntelliJ IDEA Ultimate و PyCharm و DataGrip. يمكنك تثبيته من خلال صفحة البرنامج المساعد على الموقع أو داخل IDE.
أدوات البيانات الكبيرة هي مكون إضافي يسمح لك بالاتصال بمجموعات Hadoop و Spark. يوفر مراقبة العقد والتطبيقات والمهام الفردية. بالإضافة إلى ذلك ، في IDEA و DataGrip يمكنك إنشاء وتشغيل وتحرير دفاتر Zeppelin. لست مضطرًا للتبديل إلى واجهة الويب Zeppelin والعمل بسلام دون مغادرة IDE المفضل لديك. يسمح لك البرنامج المساعد بالتنقل بسهولة عبر الكود ، والقيام بإكمال ذكي ، وإعادة بناء وإصلاحات سريعة داخل الكمبيوتر المحمول مباشرةً.
نوع جديد من تهيئة الإطلاق لإرسال شرارة
— Spark- IDE, . IDE, PyCharm. , spark-submit bin Spark . : - . .
spark-submit , . , SSH, spark-submit . bash- , . , , - .
Big Data Tools , . run configuration, spark-submit, SSH, - . .
Apache Zeppelin DataGrip
Zeppelin DataGrip. DataGrip , - . , SQL .
, SQL. , Matplotlib Scala DataGrip .
- Spark-submit IntelliJ IDEA, DataGrip PyCharm (BDIDE-843).
- Apache Zeppelin DataGrip (BDIDE-1045).
- Zeppelin (BDIDE-906).
- Spark Monitoring (BDIDE-1159).
- Zeppelin (BDIDE-1172).
- Zeppelin: , (, HTML Zeppelin) (BDIDE-1132).
- Zeppelin: – IntelliJ IDEA 2020.1 Zeppelin, (BDIDE-1184).
- Zeppelin: – , /api/version (BRIDE-1199).
- Zeppelin: – (BDIDE-1171).
- Zeppelin: – Structure Zeppelin (BDIDE-1135).
- Zeppelin: Fixed – IDEA , (BDIDE-1208).
- Zeppelin: – "Open in browser" (BDIDE-1142).
- Zeppelin: – (BDIDE-1129).
- Spark Monitoring: – JSON, Storages, (BDIDE-1162).
- Remote FS: – Azure (BDIDE-1141).
- Remote FS: – (BDIDE-1192).
- Remote FS: – (BDIDE-1202).
- General: – (BDIDE-1195).
- HTTP Proxy: – Spark Hadoop SOCKS proxy (BDIDE-1209).
- HTTP Proxy: – SCOKS proxy (BDIDE-1215).
- HTTP Proxy: – (BDIDE-1216).
, Big Data Tools, . , Twitter.
, , , .
Big Data Tools