Video: hadoop yarn architecture 2024
Fase Mengurangkan proses kunci dan senarai individu mereka supaya nilai yang biasanya dikembalikan kepada aplikasi klien adalah satu set pasangan kunci / nilai. Berikut adalah tamparan demi setakat ini: Satu set data yang besar telah dipecah menjadi kepingan yang lebih kecil, yang dipanggil perpecahan masukan, dan setiap contoh tugas pemetaan telah memproses masing-masingnya.
Dalam beberapa kes, fasa pemprosesan tunggal ini adalah semua yang diperlukan untuk menghasilkan output aplikasi yang dikehendaki. Contohnya, jika anda menjalankan operasi transformasi asas pada data - menukar semua teks ke huruf besar, sebagai contoh, atau mengeluarkan bingkai utama dari fail video - fasa tunggal adalah semua yang anda perlukan. (Ini dikenali sebagai pekerjaan peta sahaja , dengan cara.)
Tetapi dalam banyak kes lain, tugas itu hanya separuh dilakukan apabila tugas pemetaan telah menulis output mereka. Tugas yang selebihnya adalah mendidihkan semua keputusan interim kepada satu, jawapan bersatu.
Sama seperti tugas mapper, yang memproses setiap rekod satu demi satu, pengurangan memproses setiap kunci secara individu. Biasanya, pengurangan menghasilkan satu pasangan kunci / nilai bagi setiap kunci yang diprosesnya. Walau bagaimanapun, pasangan kunci / nilai ini boleh menjadi lebih luas atau sekecil seperti yang anda perlukan.
Apabila tugas reducer selesai, masing-masing mengembalikan fail hasil dan menyimpannya dalam HDFS (Hadoop Sistem Fail Teragih). Seperti yang ditunjukkan di sini, sistem HDFS kemudiannya secara automatik meniru hasil ini.
Di mana Pengurus Sumber (atau JobTracker jika anda menggunakan Hadoop 1) berusaha sebaik mungkin untuk memberikan sumber kepada tugas pemetaan untuk memastikan pemisahan input diproses di dalam negara, tidak ada strategi untuk tugas reduksi. Adalah diandaikan bahawa set tugas tugas pengeluar perlu dipindahkan ke atas rangkaian untuk diproses oleh tugas reducer.
Ini adalah pelaksanaan yang munasabah kerana, dengan beratus-ratus atau bahkan beribu-ribu tugas pemetaan, tidak akan ada cara praktikal untuk tugas reducer untuk mempunyai keutamaan tempatan yang sama.
