Rumah Kewangan Peribadi Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Video: How to install Cloudera QuickStart VM on VMware 2024

Video: How to install Cloudera QuickStart VM on VMware 2024
Anonim

Apache Oozie dimasukkan ke dalam setiap pengedaran utama Hadoop, termasuk Apache Bigtop. Dalam cluster Hadoop anda, pasang pelayan Oozie pada nod kelebihan, di mana anda juga akan menjalankan aplikasi klien lain terhadap data kluster, seperti yang ditunjukkan.

Nod kelebihan direka untuk menjadi pintu masuk untuk rangkaian luar ke cluster Hadoop. Ini menjadikan mereka sesuai untuk teknologi pemindahan data (Flume, contohnya), tetapi juga aplikasi klien dan infrastruktur aplikasi lain seperti Oozie. Oozie tidak memerlukan pelayan berdedikasi, dan dengan mudah boleh wujud bersama dengan perkhidmatan lain yang sesuai untuk nod tepi, seperti Pig dan Hive.

Selepas Oozie dilancarkan, anda sudah bersedia untuk memulakan pelayan Oozie. Infrastruktur Oozie dipasang dalam direktori $ OOZIE_HOME. Dari sana, jalankan oozie-start. perintah sh untuk memulakan pelayan. (Seperti yang anda harapkan, menghentikan pelayan melibatkan menaip oozie-stop sh) Anda boleh menguji status contoh Oozie anda dengan menjalankan perintah

oozie admin -status

Selepas anda mempunyai pelayan Oozie yang disebarkan dan dimulakan, anda boleh membuat katalog dan menjalankan pelbagai aliran kerja, penyelaras, atau kerja bundel anda. Apabila bekerja dengan pekerjaan anda, Oozie menyimpan definisi katalog - data yang menggambarkan semua objek Oozie (alur kerja, penyelaras, dan pekerjaan keranjang) - serta negeri mereka dalam pangkalan data khusus.

Secara lalai, Oozie dikonfigurasikan untuk menggunakan pangkalan data Derby yang tertanam, tetapi anda boleh menggunakan MySQL, Oracle, atau PostgreSQL, jika anda perlu.

Anda mempunyai empat pilihan untuk berinteraksi dengan pelayan Oozie:

  • API Java: Pilihan ini berguna dalam situasi di mana anda mempunyai kod penjadualan sendiri dalam aplikasi Java, dan anda perlu mengendalikan pelaksanaan Oozie aliran kerja, penyelaras, atau berkas dari dalam permohonan anda.

  • API REST: Sekali lagi, pilihan ini berfungsi dengan baik dalam kes-kes yang anda mahu menggunakan kod penjadualan anda sendiri sebagai asas aliran kerja, koordinator, atau berkas Oozie anda, atau jika anda ingin membina antara muka anda sendiri atau memperluaskan yang sedia ada untuk mentadbir pelayan Oozie.

  • Antara muka Barisan Perintah (CLI): Ini adalah antara muka baris arahan Linux tradisional untuk Oozie.

  • The Oozie Konsol Web: Okay, mungkin anda tidak boleh melakukan banyak interaksi di sini, tetapi Konsol Web Oozie memberi anda pandangan (baca hanya) tentang keadaan pelayan Oozie, iaitu berguna untuk memantau pekerjaan Oozie anda.

Hue, antara muka pentadbiran Hadoop, menyediakan alat lain untuk bekerja dengan Oozie.Aliran kerja, koordinator, dan berkas Oozie semuanya ditakrifkan menggunakan XML, yang boleh membosankan untuk diedit, terutamanya untuk situasi kompleks. Hue menyediakan alat pereka GUI untuk membina aliran kerja secara grafik dan objek Oozie yang lain.

Di bawah penutup, Oozie termasuk pelayan web Tomcat tertanam, yang mengendalikan input dan outputnya.

Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Pilihan Editor

Cara RSVP ke Acara di Ning - patung

Cara RSVP ke Acara di Ning - patung

Di Ning, setelah anda menemukan persidangan itu mencari atau parti yang ingin anda hadiri, anda perlu RSVP untuk acara tersebut supaya pihak penganjur boleh mendapatkan jumlah minuman, makanan dan barang yang sesuai untuk semua peserta - dan juga rakan-rakan rangkaian anda yang tahu anda akan pergi . Untuk RSVP ...

Cara Menghantar Mesej Peribadi di Ning - dummies

Cara Menghantar Mesej Peribadi di Ning - dummies

Mesej hanya dengan dua kumpulan orang: rakan anda dan Pentadbir (termasuk Pencipta Rangkaian). Mesej peribadi Ning memberi anda cara yang ideal sebagai ahli untuk berkomunikasi dengan ahli-ahli lain dalam rangkaian tanpa semua orang mengetahui tentangnya:

Pilihan Editor

Dimensi web untuk Infographics anda - dummies

Dimensi web untuk Infographics anda - dummies

Cabaran untuk menilai infographic untuk web adalah saiz reka bentuk kini sangat berubah , tiada standard untuk bercakap. "Reka bentuk responsif" yang dibawa dengan kemunculan HTML5 mengubah landskap reka bentuk web secara kekal. Tidak seperti grafik yang dicetak, di mana setiap orang yang melihatnya mengalaminya dalam saiz yang sama, ...

Pilihan Editor

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Komuniti mempunyai tindak balas yang positif, negatif, atau neutral kepada anda dan jenama anda boleh membantu anda menentukan bagaimana untuk terus mengendalikan pendekatan penglibatan media sosial anda. Bagaimana anda mengukur pesaing dalam minda penonton dalam talian anda adalah satu lagi faktor penting untuk dinilai. Anda juga boleh memanfaatkan ...

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Tidak ada yang salah dengan menjangkau para blogger, penulis, dan ahli komuniti dalam talian lain dan bertanya kepada mereka jika mereka berminat untuk menyemak jenama atau komuniti anda. Perbezaan antara penginjilan jenama dan melakukan kajian semula adalah bahawa penginjil jenama tidak mengkaji: Mereka mempromosikan, dan mereka diberi pampasan sebagai pertukaran untuk promosi mereka. Penilai, di ...

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Untuk cara percikan untuk dilihat blog atau laman web, pertimbangkan menaja laman web ini. Penajaan untuk blog popular telah mendapat banyak perhatian dalam blogosphere. Sesetengah blogger menyeru menerima tajaan "menjual keluar," tetapi yang lain menganggapnya sebagai cara terbaik untuk mendapatkan bayaran untuk melakukan apa yang mereka suka. Penajaan cenderung kepada ...