Babi Latin dalam Program Babi Hadoop - babi

Babi Latin adalah bahasa untuk program Babi. Babi menerjemahkan skrip Latin Pig ke MapReduce pekerjaan yang boleh dilaksanakan dalam cluster Hadoop. Apabila datang dengan Pig Latin, pasukan pembangunan mengikuti tiga prinsip reka bentuk utama:

• Tetap mudah . Pig Latin menyediakan kaedah yang diperkemas untuk berinteraksi dengan Java MapReduce. Ini merupakan abstraksi, dengan kata lain, yang memudahkan penciptaan program selari pada cluster Hadoop untuk mengalir dan analisis data. Tugasan kompleks mungkin memerlukan siri transformasi data yang saling berkaitan - siri sedemikian dikodkan sebagai urutan data .

  Menulis transformasi data dan mengalir sebagai skrip Latin Pig dan bukan program Java MapReduce menjadikan program-program ini lebih mudah untuk menulis, memahami, dan mengekalkan kerana a) anda tidak perlu menulis tugas di Java, b) anda tidak perlu berfikir dari segi MapReduce, dan c) anda tidak perlu membuat kod tersuai untuk menyokong jenis data yang kaya.

  Babi Latin menyediakan bahasa yang lebih mudah untuk mengeksploitasi kluster Hadoop anda, sehingga memudahkan lebih banyak orang memanfaatkan kekuatan Hadoop dan menjadi produktif lebih cepat.

• Jadikannya pintar. Anda mungkin ingat bahawa Pig Latin Compiler berfungsi untuk mengubah program Latin Pig ke dalam satu siri kerja Java MapReduce. Silap mata ini adalah untuk memastikan bahawa pengkompil dapat mengoptimumkan pelaksanaan kerja-kerja Jawa MapReduce secara automatik, yang membolehkan pengguna memberi tumpuan kepada semantik dan bukannya bagaimana untuk mengoptimumkan dan mengakses data.

  Untuk anda jenis SQL di luar sana, perbincangan ini akan terdengar akrab. SQL didirikan sebagai pertanyaan perihal yang anda gunakan untuk mengakses data berstruktur yang disimpan dalam RDBMS. Enjin RDBMS pertama menerjemahkan pertanyaan kepada kaedah akses data dan kemudian melihat statistik dan menghasilkan satu siri pendekatan akses data. Pengoptimasi berasaskan kos memilih pendekatan yang paling berkesan untuk pelaksanaan.

• Jangan batasi pembangunan. Buat Babi extensible supaya pemaju dapat menambah fungsi untuk menangani masalah perniagaan mereka.

Gudang data tradisional RDBMS menggunakan corak pemprosesan data ETL, di mana anda e mengeluarkan data dari sumber luar, t memperkenalkannya agar sesuai dengan keperluan operasi anda, dan kemudian > l yang memasuki sasaran akhir, sama ada ia merupakan kedai data operasi, gudang data, atau lain-lain varian pangkalan data. Walau bagaimanapun, dengan data besar, anda biasanya ingin mengurangkan jumlah data yang telah anda usahakan, sehingga anda akhirnya membawa pemprosesan ke data itu sendiri.

Bahasa untuk aliran data Babi, oleh itu, mengambil laluan pada pendekatan ETL lama, dan pergi dengan ELT sebagai gantinya:

E xtract data dari pelbagai sumber anda, l oad ia menjadi HDFS, dan kemudian t memperkenalkannya sebagai perlu untuk menyediakan data untuk analisis selanjutnya.