Video: How to Build and Install Hadoop on Windows 2024
MapReduce semakin menjadi berguna untuk data besar. Pada awal 2000-an, sesetengah jurutera di Google memandang masa depan dan menentukan bahawa walaupun penyelesaian semasa mereka untuk aplikasi seperti web merangkak, kekerapan pertanyaan dan sebagainya adalah mencukupi untuk kebanyakan keperluan yang sedia ada, mereka tidak mencukupi untuk kerumitan yang mereka jangkakan sebagai web dipertingkatkan kepada lebih ramai pengguna.
Jurutera-jurutera ini menentukan bahawa jika kerja boleh diedarkan di seluruh komputer murah dan kemudian disambungkan ke rangkaian dalam bentuk "cluster", mereka dapat menyelesaikan masalah itu. Pembahagian sahaja bukan jawapan yang mencukupi. Pengagihan kerja ini mesti dilakukan selari dengan tiga sebab berikut:
-
Pemprosesan mesti dapat diperluas dan dikontrak secara automatik.
-
Pemprosesan mesti dapat diteruskan tanpa mengira kegagalan dalam rangkaian atau sistem individu.
-
Pemaju yang memanfaatkan pendekatan ini mesti dapat mewujudkan perkhidmatan yang mudah dimanfaatkan oleh pemaju lain. Oleh itu, pendekatan ini mestilah bebas dari mana data dan perhitungan telah dilaksanakan.
MapReduce telah direka sebagai model pengaturcaraan generik. Beberapa pelaksanaan permulaan menyediakan semua keperluan utama pelaksanaan yang selari, toleransi kesalahan, mengimbangi beban, dan manipulasi data. Para jurutera yang bertanggungjawab ke atas projek itu menamakan inisiatif MapReduce kerana ia menggabungkan dua keupayaan dari bahasa komputer berfungsi yang sedia ada: peta dan mengurangkan .
Jurutera Google yang direka PetaReduce untuk menyelesaikan masalah praktikal tertentu. Oleh itu, ia direka bentuk sebagai model pengaturcaraan yang digabungkan dengan pelaksanaan model itu - pada asasnya, pelaksanaan rujukan.
Pelaksanaan rujukan digunakan untuk menunjukkan kepraktisan dan keberkesanan konsep dan untuk memastikan bahawa model ini akan digunakan secara meluas oleh industri komputer. Selama bertahun-tahun, pelaksanaan lain MapReduce telah diwujudkan dan tersedia sebagai kedua sumber terbuka dan produk komersial.
