Rumah Kewangan Peribadi Skrip Babi Running Templat dan Teragih tempatan di Hadoop - dummies

Skrip Babi Running Templat dan Teragih tempatan di Hadoop - dummies

Video: Our Miss Brooks: Exchanging Gifts / Halloween Party / Elephant Mascot / The Party Line 2024

Video: Our Miss Brooks: Exchanging Gifts / Halloween Party / Elephant Mascot / The Party Line 2024
Anonim

Sebelum anda dapat menjalankan skrip Babi pertama anda di Hadoop, anda perlu mengendalikan bagaimana program Babi boleh dibungkus dengan pelayan Babi.

Babi mempunyai dua mod untuk menjalankan skrip:

  • Mod Tempatan: Semua skrip dijalankan pada mesin tunggal tanpa memerlukan Hadoop MapReduce dan HDFS. Ini berguna untuk membangun dan menguji logik babi. Sekiranya anda menggunakan set data kecil kepada pemaju atau menguji kod anda, maka mod tempatan mungkin lebih cepat daripada melalui infrastruktur MapReduce.

    Mod tempatan tidak memerlukan Hadoop. Apabila anda menjalankan dalam mod Templat, program Babi berjalan dalam konteks mesin Java Virtual Java, dan akses data adalah melalui sistem fail setempat mesin tunggal. Mod tempatan sebenarnya merupakan simulasi tempatan MapReduce dalam kelas LocalJobRunner Hadoop.

  • MapReduce mode (juga dikenali sebagai mod Hadoop): Babi dilaksanakan di cluster Hadoop. Dalam kes ini, Skrip Pig akan ditukar menjadi satu siri pekerjaan MapReduce yang kemudiannya dijalankan pada cluster Hadoop.

Jika anda mempunyai terabyte data yang anda mahu lakukan operasi dan anda ingin membangunkan program secara interaktif, anda mungkin akan menemui perkara yang perlahan dan anda akan mula mengembangkan simpanan anda. Mod tempatan membolehkan anda bekerja dengan subset data anda dengan cara yang lebih interaktif supaya anda dapat memikirkan logik (dan mengatasi pepijat) program Babi anda.

Selepas anda menetapkan sesuatu yang anda mahu dan operasi anda berjalan dengan lancar, anda boleh menjalankan skrip dengan set data penuh menggunakan mod MapReduce.

Skrip Babi Running Templat dan Teragih tempatan di Hadoop - dummies

Pilihan Editor

Cara RSVP ke Acara di Ning - patung

Cara RSVP ke Acara di Ning - patung

Di Ning, setelah anda menemukan persidangan itu mencari atau parti yang ingin anda hadiri, anda perlu RSVP untuk acara tersebut supaya pihak penganjur boleh mendapatkan jumlah minuman, makanan dan barang yang sesuai untuk semua peserta - dan juga rakan-rakan rangkaian anda yang tahu anda akan pergi . Untuk RSVP ...

Cara Menghantar Mesej Peribadi di Ning - dummies

Cara Menghantar Mesej Peribadi di Ning - dummies

Mesej hanya dengan dua kumpulan orang: rakan anda dan Pentadbir (termasuk Pencipta Rangkaian). Mesej peribadi Ning memberi anda cara yang ideal sebagai ahli untuk berkomunikasi dengan ahli-ahli lain dalam rangkaian tanpa semua orang mengetahui tentangnya:

Pilihan Editor

Dimensi web untuk Infographics anda - dummies

Dimensi web untuk Infographics anda - dummies

Cabaran untuk menilai infographic untuk web adalah saiz reka bentuk kini sangat berubah , tiada standard untuk bercakap. "Reka bentuk responsif" yang dibawa dengan kemunculan HTML5 mengubah landskap reka bentuk web secara kekal. Tidak seperti grafik yang dicetak, di mana setiap orang yang melihatnya mengalaminya dalam saiz yang sama, ...

Pilihan Editor

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Komuniti mempunyai tindak balas yang positif, negatif, atau neutral kepada anda dan jenama anda boleh membantu anda menentukan bagaimana untuk terus mengendalikan pendekatan penglibatan media sosial anda. Bagaimana anda mengukur pesaing dalam minda penonton dalam talian anda adalah satu lagi faktor penting untuk dinilai. Anda juga boleh memanfaatkan ...

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Tidak ada yang salah dengan menjangkau para blogger, penulis, dan ahli komuniti dalam talian lain dan bertanya kepada mereka jika mereka berminat untuk menyemak jenama atau komuniti anda. Perbezaan antara penginjilan jenama dan melakukan kajian semula adalah bahawa penginjil jenama tidak mengkaji: Mereka mempromosikan, dan mereka diberi pampasan sebagai pertukaran untuk promosi mereka. Penilai, di ...

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Untuk cara percikan untuk dilihat blog atau laman web, pertimbangkan menaja laman web ini. Penajaan untuk blog popular telah mendapat banyak perhatian dalam blogosphere. Sesetengah blogger menyeru menerima tajaan "menjual keluar," tetapi yang lain menganggapnya sebagai cara terbaik untuk mendapatkan bayaran untuk melakukan apa yang mereka suka. Penajaan cenderung kepada ...