Rumah Kewangan Peribadi Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Video: How to install Cloudera QuickStart VM on VMware 2024

Video: How to install Cloudera QuickStart VM on VMware 2024
Anonim

Apache Oozie dimasukkan ke dalam setiap pengedaran utama Hadoop, termasuk Apache Bigtop. Dalam cluster Hadoop anda, pasang pelayan Oozie pada nod kelebihan, di mana anda juga akan menjalankan aplikasi klien lain terhadap data kluster, seperti yang ditunjukkan.

Nod kelebihan direka untuk menjadi pintu masuk untuk rangkaian luar ke cluster Hadoop. Ini menjadikan mereka sesuai untuk teknologi pemindahan data (Flume, contohnya), tetapi juga aplikasi klien dan infrastruktur aplikasi lain seperti Oozie. Oozie tidak memerlukan pelayan berdedikasi, dan dengan mudah boleh wujud bersama dengan perkhidmatan lain yang sesuai untuk nod tepi, seperti Pig dan Hive.

Selepas Oozie dilancarkan, anda sudah bersedia untuk memulakan pelayan Oozie. Infrastruktur Oozie dipasang dalam direktori $ OOZIE_HOME. Dari sana, jalankan oozie-start. perintah sh untuk memulakan pelayan. (Seperti yang anda harapkan, menghentikan pelayan melibatkan menaip oozie-stop sh) Anda boleh menguji status contoh Oozie anda dengan menjalankan perintah

oozie admin -status

Selepas anda mempunyai pelayan Oozie yang disebarkan dan dimulakan, anda boleh membuat katalog dan menjalankan pelbagai aliran kerja, penyelaras, atau kerja bundel anda. Apabila bekerja dengan pekerjaan anda, Oozie menyimpan definisi katalog - data yang menggambarkan semua objek Oozie (alur kerja, penyelaras, dan pekerjaan keranjang) - serta negeri mereka dalam pangkalan data khusus.

Secara lalai, Oozie dikonfigurasikan untuk menggunakan pangkalan data Derby yang tertanam, tetapi anda boleh menggunakan MySQL, Oracle, atau PostgreSQL, jika anda perlu.

Anda mempunyai empat pilihan untuk berinteraksi dengan pelayan Oozie:

  • API Java: Pilihan ini berguna dalam situasi di mana anda mempunyai kod penjadualan sendiri dalam aplikasi Java, dan anda perlu mengendalikan pelaksanaan Oozie aliran kerja, penyelaras, atau berkas dari dalam permohonan anda.

  • API REST: Sekali lagi, pilihan ini berfungsi dengan baik dalam kes-kes yang anda mahu menggunakan kod penjadualan anda sendiri sebagai asas aliran kerja, koordinator, atau berkas Oozie anda, atau jika anda ingin membina antara muka anda sendiri atau memperluaskan yang sedia ada untuk mentadbir pelayan Oozie.

  • Antara muka Barisan Perintah (CLI): Ini adalah antara muka baris arahan Linux tradisional untuk Oozie.

  • The Oozie Konsol Web: Okay, mungkin anda tidak boleh melakukan banyak interaksi di sini, tetapi Konsol Web Oozie memberi anda pandangan (baca hanya) tentang keadaan pelayan Oozie, iaitu berguna untuk memantau pekerjaan Oozie anda.

Hue, antara muka pentadbiran Hadoop, menyediakan alat lain untuk bekerja dengan Oozie.Aliran kerja, koordinator, dan berkas Oozie semuanya ditakrifkan menggunakan XML, yang boleh membosankan untuk diedit, terutamanya untuk situasi kompleks. Hue menyediakan alat pereka GUI untuk membina aliran kerja secara grafik dan objek Oozie yang lain.

Di bawah penutup, Oozie termasuk pelayan web Tomcat tertanam, yang mengendalikan input dan outputnya.

Cara Mendapatkan Apache Oozie Setup di Hadoop - dummies

Pilihan Editor

Melindungi Metrik Media Sosial anda dengan Alat Cadangan - dummies

Melindungi Metrik Media Sosial anda dengan Alat Cadangan - dummies

Jika anda telah memulakan jejak sosial metrik media dan menikmati kurniaan data yang kini dapat dilihat, dihidupkan, dan digunakan, anda mungkin tertanya-tanya apa yang mungkin menyebabkan kemurungan! Mudah: kehilangan data. Katakanlah bahawa anda mempunyai masalah tapak atau entah bagaimana kehilangan akses ke tapak atau data anda. Adakah anda mempunyai sandaran anda ...

Laman web baru? Menarik Tumpuan Media Sosial Lalu Lintas dan Meningkat - dummies

Laman web baru? Menarik Tumpuan Media Sosial Lalu Lintas dan Meningkat - dummies

Mana-mana kempen baru, laman web, akaun Twitter, halaman Facebook, atau item lain yang anda ingin ukur dengan metrik media sosial bermula pada sifar. Nombor ini boleh membuat anda merasa seperti anda bercakap dengan tidak sah, bercakap dengan diri anda atau anda tersembunyi dari pandangan. Perasaan ini boleh membawa kepada pengasingan secara keseluruhan ...

Meracuni Google Spider - dummies

Meracuni Google Spider - dummies

Anda sentiasa dapat mencari orang yang ingin menyimpang dari lurus dan sempit. Ya, mereka adalah orang bodoh yang terlibat dalam taktik pengoptimuman berisiko yang bertujuan untuk menggerakkan PageRank secara artifisial, memanipulasi pesanan halaman hasil carian di Google, dan mendapatkan kelebihan yang tidak adil dalam indeks. Google, dengan reputasi yang luar biasa untuk melindungi, ...

Pilihan Editor

Mengukur Pengunjung Lama Menginap di Laman Web Anda - dummies

Mengukur Pengunjung Lama Menginap di Laman Web Anda - dummies

Di laman web anda memberikan wawasan yang penting. Anda boleh memikirkan sama ada pengunjung sedang melihat cepat, kemudian pergi, atau sama ada mereka bertahan lebih lama dan sebenarnya membaca bahan dalam talian anda dengan tujuan untuk mengambil tindakan. Jika majoriti pelawat laman web anda tidak ...

Pemasaran web: Cara Menilai Layouts dengan Peta Haba - dummies

Pemasaran web: Cara Menilai Layouts dengan Peta Haba - dummies

Laman web perniagaan sangat mirip dengan merancang kedai dengan pemasaran produk dalam fikiran. Malah, laman web anda benar-benar adalah kedai - kedai maya di Internet. Rangkaian kedai runcit telah menghabiskan berjuta-juta dolar dalam penyelidikan pasaran, menonton dan mendokumentasikan bagaimana pembeli memasuki kedai, belok kanan atau kiri, dan ...

Analitik web Untuk Menipu Cheat Sheet - dummies

Analitik web Untuk Menipu Cheat Sheet - dummies

Melakukan analisis laman web tidak perlu meletihkan dan intensif masa. Anda boleh meringkaskan prestasi keseluruhan laman web anda dengan cepat - jika anda tahu apa yang perlu dicari. Alat analisis web percuma dan kos rendah boleh membantu anda mengukur kejayaan laman web anda, dan anda boleh menjana perujuk tapak dengan pelbagai cara yang tidak mungkin ...

Pilihan Editor

Cara Memaksimumkan Ruang pada Laman Web - dummies

Cara Memaksimumkan Ruang pada Laman Web - dummies

Terlalu terhad, anda boleh membuat penggunaan kreatif beberapa teknologi di luar sana untuk memaksimumkan antara muka anda. Untuk setiap teknik berikut yang diterangkan, terdapat banyak laman web yang menawarkan sampel kod, forum, dan sumber untuk membantu anda memulakan. Accordions. Antara muka akordion membolehkan ...

Cara Mendapatkan Corak CSS3 Online - dummies

Cara Mendapatkan Corak CSS3 Online - dummies

Mencipta kesan mudah untuk laman CSS3 menggunakan gradien mudah . Walau bagaimanapun, mewujudkan sesuatu yang benar-benar hebat memerlukan masa dan keupayaan artistik. Kebanyakan pemaju benar-benar tidak mempunyai masa atau kemahiran yang diperlukan untuk mencipta sesuatu yang mempesonakan menggunakan CSS3 sahaja (atau CSS3 digabungkan dengan grafik) - di sinilah pereka bermain. Ramai pereka yang membolehkan anda ...

Bagaimana Mengoptimumkan Aplikasi CSS3 dengan Modernizr - dummies

Bagaimana Mengoptimumkan Aplikasi CSS3 dengan Modernizr - dummies

Terdapat banyak pelayar dan versi pelayar yang berbeza gunakan hari ini. Tidak semua daripada mereka adalah optimum untuk CSS3. Inilah tempat Modernizr dimainkan. Pemajunya menyebutnya "perpustakaan JavaScript yang mengesan ciri HTML5 dan CSS3 dalam pelayar pengguna. "Anda menggunakan Modernizr untuk melaksanakan tugas secara pilihan dan memasukkan ciri aplikasi berdasarkan ...