Rumah Kewangan Peribadi Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Video: How to install Cloudera QuickStart VM on VMware 2024

Video: How to install Cloudera QuickStart VM on VMware 2024
Anonim

Aliran kerja Oozie, di teras, graf yang diarahkan, di mana anda boleh menentukan tindakan (aplikasi Hadoop) dan aliran data, tetapi tanpa gelung - t mentakrifkan struktur di mana anda akan menjalankan operasi tertentu berulang-ulang sehingga beberapa keadaan dipenuhi (misalnya untuk gelung, contohnya).

Aliran kerja Oozie agak fleksibel kerana anda boleh menentukan keputusan berdasarkan keadaan dan jalan yang dibongkar untuk pelaksanaan yang selari. Anda juga boleh melaksanakan pelbagai tindakan.

Dalam angka ini, anda melihat aliran kerja yang menunjukkan keupayaan asas aliran kerja Oozie. Pertama, skrip babi dijalankan, dan segera diikuti oleh pokok keputusan. Bergantung pada keadaan output, aliran kawalan boleh pergi terus ke operasi fail HDFS (Hadoop Distributed File System) (contohnya operasi copyToLocal) atau tindakan fork.

Sekiranya aliran kawalan berpindah ke tindakan fork, dua pekerjaan dijalankan secara serentak: kerja MapReduce, dan pertanyaan Hive. Aliran kawalan kemudian pergi ke operasi HDFS sebaik sahaja kerja MapReduce dan pertanyaan Hive selesai berjalan. Selepas operasi HDFS, aliran kerja selesai.

Definisi aliran kerja Oozie ditulis dalam XML, berdasarkan skema Bahasa Pengantar Proses Hadoop (hPDL). Skema khusus ini, pada gilirannya, berdasarkan skema Bahasa Definisi Proses XML (XPDL), yang merupakan standard bebas produk untuk memodelkan definisi proses perniagaan.

Aliran kerja Oozie terdiri daripada beberapa tindakan, yang dikodkan oleh nod XML. Terdapat pelbagai jenis nod, yang mewakili pelbagai tindakan atau arahan aliran kawalan. Setiap aliran kerja Oozie mempunyai fail XML sendiri, di mana setiap simpul dan sambungannya ditakrifkan.

Nodus aliran kerja semua memerlukan pengecam unik kerana ia digunakan untuk mengenal pasti nod seterusnya yang akan diproses dalam alur kerja. Ini bermakna perintah di mana tindakan dilaksanakan bergantung kepada di mana nod tindakan muncul dalam XML aliran kerja. Untuk melihat bagaimana konsep ini akan kelihatan, periksa penyenaraian berikut, yang menunjukkan contoh struktur asas fail XML aliran kerja Oozie.

… … "Pekerjaan terbunuh."

Dalam contoh ini, selain dari mula, tamat, dan membunuh nod, anda mempunyai dua nod tindakan. Setiap nod tindakan mewakili aplikasi atau arahan yang dilaksanakan.

Membangun aliran kerja Oozie di alur kerja Hadoop - dummies

Pilihan Editor

Cara menggunakan Pemesejan Segera dengan Akaun MySpace anda - dummies

Cara menggunakan Pemesejan Segera dengan Akaun MySpace anda - dummies

Pasangan mySpaceIM MySpace Instant Messaging (IMing ) dengan perkhidmatan Skype telefon Internet yang popular, membolehkan anda menghantar dan menerima sama ada mesej menaip atau komunikasi suara. MySpaceIM berfungsi pada mesin Windows sahaja yang menggunakan Internet Explorer Microsoft. Sekiranya anda mempunyai Mac atau menggunakan pelayar yang berbeza, anda tidak bernasib baik. Juga, sesiapa sahaja yang anda mahu ...

Cara Menggunakan Profil MySpace Edit Halaman - dummies

Cara Menggunakan Profil MySpace Edit Halaman - dummies

Dengan halaman Edit Profil MySpace, anda boleh tambah, padam, atau tukar maklumat profil anda bila-bila masa anda mahu. Untuk membuka halaman Edit Profil, cuma pergi ke halaman utama anda dan klik pautan Edit Profil di sudut kiri atas. Tab Maklumat Peribadi di halaman Profil Edit dibahagikan kepada lapan skrin berasingan ...

Pilihan Editor

Cara Menggunakan Templat dalam Excel 2007 - dummies

Cara Menggunakan Templat dalam Excel 2007 - dummies

Excel 2007 menyediakan template yang direka bentuk, lembaran kerja untuk kegunaan umum. Templat mengandungi teks standard atau boilerplate, tetapi anda boleh mengubah suai template untuk memenuhi keperluan anda. Anda boleh menggunakan templat secara automatik dipasang dengan Excel 2007, atau anda boleh memuat turun templat percuma dari laman web Microsoft Office Online. Templat berikut dipasang secara automatik apabila ...

Cara menggunakan fungsi teks di Excel 2013 - dummies

Cara menggunakan fungsi teks di Excel 2013 - dummies

Fungsi teks di Excel 2013 menu lungsur butang arahan pada tab Rumus Ribbon (Alt + MT). Terdapat dua jenis fungsi teks: fungsi seperti VALUE, TEXT, dan DOLLAR yang menukarkan entri teks berangka ke dalam nombor dan entri berangka ke dalam teks, dan berfungsi seperti UPPER, LOWER, dan PROPER yang ...

Pilihan Editor

Cara Mengatur Laman Web Anda dengan Tabel dan Bingkai - dummies

Cara Mengatur Laman Web Anda dengan Tabel dan Bingkai - dummies

Menggunakan jadual dan bingkai pada halaman Web anda membantu anda membentangkan maklumat kepada pelawat laman anda dengan cara teratur. Jadual adalah alat susunatur untuk jadual data pada halaman Web, tetapi keupayaan meja untuk laman web telah lama digunakan untuk mengawal susun atur keseluruhan halaman. Pereka membuat sel ...

Cara Mendaftar Nama Domain Anda - dummies

Cara Mendaftar Nama Domain Anda - dummies

Ketika membina sebuah laman web, pantai jelas dan nama domain yang anda mahukan memang ada. Seterusnya, sudah tiba masanya untuk mendaftarkan nama domain itu. Apabila anda mendaftarkan nama domain, pastikan anda mendaftarkannya selama sekurang-kurangnya tiga tahun. Anda boleh mendaftar untuk sekurang-kurangnya ...

Cara Hapus Pemformatan yang Tidak Diingini dari Laman Web Anda - para pengedit kod paling banyak

Cara Hapus Pemformatan yang Tidak Diingini dari Laman Web Anda - para pengedit kod paling banyak

Yang secara automatik membersihkan kesilapan biasa dalam kod anda. Sebagai contoh, arahan Clean Up Word HTML / XHTML dalam Dreamweaver adalah satu kemestian bagi mana-mana halaman web yang merangkumi kandungan yang disalin dari Word atau mana-mana dokumen Microsoft lain. Ini penting kerana fail Microsoft sering membenamkan tambahan ...