Video: Hadoop Processing Frameworks 2024
"Mudah" sering bermaksud "elegan" apabila ia datang kepada lukisan seni bina untuk itu rumah Silicon Valley baru yang anda rancang apabila wang mula bergolek selepas anda melaksanakan Hadoop. Prinsip yang sama berlaku untuk seni bina perisian. Babi terdiri daripada dua (kiraan 'em, dua) komponen:
-
Bahasa itu sendiri: Sebagai bukti bahawa pengaturcara mempunyai rasa humor, bahasa pengaturcaraan untuk Pig dikenali sebagai Pig Latin, tahap tinggi bahasa yang membolehkan anda menulis program pemprosesan dan analisis data.
-
Pengkompil Latin Babi: Penyusun Latin Babi menukar kod Latin Babi ke dalam kod boleh laku. Kod boleh laku sama ada dalam bentuk pekerjaan MapReduce atau ia boleh menimbulkan proses di mana contoh Hadoop maya dicipta untuk menjalankan kod Babi pada satu nod.
Urutan program MapReduce membolehkan program Babi melakukan pemprosesan dan analisis data secara selari, memanfaatkan Hadoop MapReduce dan HDFS. Menjalankan kerja Babi dalam contoh Hadoop maya adalah strategi yang berguna untuk menguji skrip Babi anda.
Angka ini menunjukkan bagaimana Pig berkaitan dengan ekosistem Hadoop.
Program babi boleh dijalankan pada MapReduce v1 atau MapReduce v2 tanpa sebarang perubahan kod, tanpa mengira mod apa yang sedang dijalankan kluster anda. Walau bagaimanapun, skrip Pig juga boleh dijalankan menggunakan API Tez sebaliknya. Apache Tez menyediakan rangka kerja pelaksanaan yang lebih cekap daripada MapReduce. YARN membolehkan rangka aplikasi selain MapReduce (seperti Tez) untuk dijalankan di Hadoop. Sumpah juga boleh bertentangan dengan rangka kerja Tez.
