Rumah Kewangan Peribadi Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Video: How to install Cloudera QuickStart VM on VMware 2024

Video: How to install Cloudera QuickStart VM on VMware 2024
Anonim

Aliran kerja Oozie, di teras, graf yang diarahkan, di mana anda boleh menentukan tindakan (aplikasi Hadoop) dan aliran data, tetapi tanpa gelung - t mentakrifkan struktur di mana anda akan menjalankan operasi tertentu berulang-ulang sehingga beberapa keadaan dipenuhi (misalnya untuk gelung, contohnya).

Aliran kerja Oozie agak fleksibel kerana anda boleh menentukan keputusan berdasarkan keadaan dan jalan yang dibongkar untuk pelaksanaan yang selari. Anda juga boleh melaksanakan pelbagai tindakan.

Dalam angka ini, anda melihat aliran kerja yang menunjukkan keupayaan asas aliran kerja Oozie. Pertama, skrip babi dijalankan, dan segera diikuti oleh pokok keputusan. Bergantung pada keadaan output, aliran kawalan boleh pergi terus ke operasi fail HDFS (Hadoop Distributed File System) (contohnya operasi copyToLocal) atau tindakan fork.

Sekiranya aliran kawalan berpindah ke tindakan fork, dua pekerjaan dijalankan secara serentak: kerja MapReduce, dan pertanyaan Hive. Aliran kawalan kemudian pergi ke operasi HDFS sebaik sahaja kerja MapReduce dan pertanyaan Hive selesai berjalan. Selepas operasi HDFS, aliran kerja selesai.

Definisi aliran kerja Oozie ditulis dalam XML, berdasarkan skema Bahasa Pengantar Proses Hadoop (hPDL). Skema khusus ini, pada gilirannya, berdasarkan skema Bahasa Definisi Proses XML (XPDL), yang merupakan standard bebas produk untuk memodelkan definisi proses perniagaan.

Aliran kerja Oozie terdiri daripada beberapa tindakan, yang dikodkan oleh nod XML. Terdapat pelbagai jenis nod, yang mewakili pelbagai tindakan atau arahan aliran kawalan. Setiap aliran kerja Oozie mempunyai fail XML sendiri, di mana setiap simpul dan sambungannya ditakrifkan.

Nodus aliran kerja semua memerlukan pengecam unik kerana ia digunakan untuk mengenal pasti nod seterusnya yang akan diproses dalam alur kerja. Ini bermakna perintah di mana tindakan dilaksanakan bergantung kepada di mana nod tindakan muncul dalam XML aliran kerja. Untuk melihat bagaimana konsep ini akan kelihatan, periksa penyenaraian berikut, yang menunjukkan contoh struktur asas fail XML aliran kerja Oozie.

… … "Pekerjaan terbunuh."

Dalam contoh ini, selain dari mula, tamat, dan membunuh nod, anda mempunyai dua nod tindakan. Setiap nod tindakan mewakili aplikasi atau arahan yang dilaksanakan.

Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Pilihan Editor

Cara RSVP ke Acara di Ning - patung

Cara RSVP ke Acara di Ning - patung

Di Ning, setelah anda menemukan persidangan itu mencari atau parti yang ingin anda hadiri, anda perlu RSVP untuk acara tersebut supaya pihak penganjur boleh mendapatkan jumlah minuman, makanan dan barang yang sesuai untuk semua peserta - dan juga rakan-rakan rangkaian anda yang tahu anda akan pergi . Untuk RSVP ...

Cara Menghantar Mesej Peribadi di Ning - dummies

Cara Menghantar Mesej Peribadi di Ning - dummies

Mesej hanya dengan dua kumpulan orang: rakan anda dan Pentadbir (termasuk Pencipta Rangkaian). Mesej peribadi Ning memberi anda cara yang ideal sebagai ahli untuk berkomunikasi dengan ahli-ahli lain dalam rangkaian tanpa semua orang mengetahui tentangnya:

Pilihan Editor

Dimensi web untuk Infographics anda - dummies

Dimensi web untuk Infographics anda - dummies

Cabaran untuk menilai infographic untuk web adalah saiz reka bentuk kini sangat berubah , tiada standard untuk bercakap. "Reka bentuk responsif" yang dibawa dengan kemunculan HTML5 mengubah landskap reka bentuk web secara kekal. Tidak seperti grafik yang dicetak, di mana setiap orang yang melihatnya mengalaminya dalam saiz yang sama, ...

Pilihan Editor

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Komuniti mempunyai tindak balas yang positif, negatif, atau neutral kepada anda dan jenama anda boleh membantu anda menentukan bagaimana untuk terus mengendalikan pendekatan penglibatan media sosial anda. Bagaimana anda mengukur pesaing dalam minda penonton dalam talian anda adalah satu lagi faktor penting untuk dinilai. Anda juga boleh memanfaatkan ...

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Tidak ada yang salah dengan menjangkau para blogger, penulis, dan ahli komuniti dalam talian lain dan bertanya kepada mereka jika mereka berminat untuk menyemak jenama atau komuniti anda. Perbezaan antara penginjilan jenama dan melakukan kajian semula adalah bahawa penginjil jenama tidak mengkaji: Mereka mempromosikan, dan mereka diberi pampasan sebagai pertukaran untuk promosi mereka. Penilai, di ...

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Untuk cara percikan untuk dilihat blog atau laman web, pertimbangkan menaja laman web ini. Penajaan untuk blog popular telah mendapat banyak perhatian dalam blogosphere. Sesetengah blogger menyeru menerima tajaan "menjual keluar," tetapi yang lain menganggapnya sebagai cara terbaik untuk mendapatkan bayaran untuk melakukan apa yang mereka suka. Penajaan cenderung kepada ...