Cara Menggunakan MapReduce untuk Data Besar - dummies

MapReduce adalah rangka kerja perisian yang sesuai untuk data besar kerana ia membolehkan pemaju untuk menulis program yang dapat memproses sejumlah besar data tidak berstruktur secara selari dalam kumpulan pemproses yang diedarkan.

Fungsi peta untuk data besar

Fungsi peta telah menjadi sebahagian daripada banyak bahasa pengaturcaraan berfungsi selama bertahun-tahun. Peta telah diperkayakan sebagai teknologi teras untuk memproses senarai elemen data.

Pengendali dalam bahasa berfungsi tidak mengubah struktur data; mereka mencipta struktur data baru sebagai output mereka. Data asal itu sendiri juga tidak diubah suai. Oleh itu, anda boleh menggunakan fungsi peta dengan sewenang-wenangnya kerana ia tidak akan membahayakan data yang disimpan berharga anda.

Satu lagi kelebihan untuk pengaturcaraan berfungsi tidak perlu menguruskan pergerakan atau aliran data secara jelas. Ini membebaskan pengaturcara daripada menguruskan output data dan penempatan secara jelas. Akhir sekali, perintah operasi pada data tidak ditetapkan.

Salah satu cara untuk menyelesaikannya ialah dengan mengenal pasti data input dan membuat senarai:

mylist = ("semua daerah di dalam kita yang mengambil bahagian dalam pilihan raya umum terakhir") > Buat fungsi howManyPeople menggunakan fungsi peta

. Ini hanya memilih daerah dengan lebih daripada 50, 000 orang: peta howManyPeople (mylist) = [HowManyPeople "county 1"; howManyPeople "county 2"; howManyPeople "county 3"; howManyPeople "county 4"; …]

Sekarang menghasilkan senarai output baru semua daerah dengan populasi lebih daripada 50, 000:

(tidak, daerah 1; ya, daerah 2; tidak, daerah 3; ya, daerah 4;?, Daerah nnn)

Fungsi dijalankan tanpa membuat sebarang perubahan pada senarai asal. Di samping itu, anda dapat melihat bahawa setiap elemen senarai output peta ke elemen yang sama dalam senarai input, dengan ya atau tidak. Sekiranya daerah memenuhi keperluan lebih daripada 50, 000 orang, fungsi peta mengenal pasti dengan ya. Jika tidak, tiada yang ditunjukkan.

Tambah fungsi mengurangkan data besar

Seperti fungsi peta,

mengurangkan telah menjadi ciri bahasa pengaturcaraan berfungsi selama bertahun-tahun. Fungsi mengurangkan mengambil output fungsi peta dan "mengurangkan" senarai dalam apa jua cara keinginan programmer. Langkah pertama yang diperlukan untuk mengurangkan fungsi ialah dengan meletakkan nilai dalam sesuatu yang disebut

accumulator , yang memegang nilai awal. Setelah menyimpan nilai permulaan dalam penumpuk, fungsi mengurangkan kemudian memproses setiap elemen senarai dan melakukan operasi yang anda perlukan di seluruh senarai.

Pada akhir senarai, fungsi mengurangkan mengembalikan nilai berdasarkan operasi yang anda ingin lakukan pada senarai output.

Anggaplah anda perlu mengenal pasti daerah-daerah di mana majoriti undi untuk calon Demokratik. Ingat bahawa fungsi peta HowManyPeople anda melihat setiap elemen senarai input dan mencipta senarai output daerah dengan lebih daripada 50,000 orang (ya) dan daerah dengan kurang daripada 50,000 orang (tidak).

Selepas memohon fungsi peta howManyPeople, anda dibiarkan dengan senarai output berikut:

(tidak, daerah 1; ya, daerah 2; tidak, daerah 3; ya, daerah 4;, nnn daerah)

Ini kini input untuk mengurangkan fungsi anda. Inilah yang kelihatan seperti:

countylist = (tidak, daerah 1; ya, daerah 2; tidak, daerah 3; ya, daerah 4;?, Daerah nnn) mengurangi isDemocrat (countylist)

setiap elemen senarai dan mengembalikan senarai semua daerah dengan populasi lebih daripada 50, 000, di mana majoriti mengundi Demokratik.

Meletakkan peta data besar dan mengurangkan bersama

Kadang-kadang menghasilkan senarai output cukup. Begitu juga, kadang-kadang melaksanakan operasi pada setiap elemen senarai adalah cukup. Selalunya, anda ingin melihat sejumlah besar data input, memilih elemen tertentu dari data, dan kemudian mengira sesuatu nilai dari kepingan data yang berkaitan.

Anda tidak mahu mengubah senarai input supaya anda dapat menggunakannya dengan cara yang berbeza dengan andaian baru dan data baru.

Aplikasi reka bentuk pemaju perisian berdasarkan algoritma. Satu

algoritma tidak lebih daripada satu siri langkah yang perlu berlaku dalam perkhidmatan kepada matlamat keseluruhan. Ia mungkin kelihatan seperti ini: Mulakan dengan nombor atau data atau rekod yang banyak.

Galakkan data.
Gunakan fungsi peta untuk mengekstrak sesuatu yang menarik dan buat senarai output.
Susun senarai output untuk dioptimumkan untuk pemprosesan selanjutnya.
Gunakan fungsi mengurangkan untuk mengira satu set keputusan.
Menghasilkan output akhir.
Pengaturcara boleh melaksanakan semua jenis aplikasi menggunakan pendekatan ini, tetapi contoh-contoh ke titik ini sangat mudah, jadi nilai sebenar MapReduce mungkin tidak jelas. Apa yang berlaku apabila anda mempunyai data input yang sangat besar? Bolehkah anda menggunakan algoritma yang sama pada terabytes data? Berita baiknya adalah ya.

Semua operasi kelihatan bebas. Itulah kerana mereka. Kuasa sebenar MapReduce adalah keupayaan untuk membahagikan dan menaklukkan. Mengambil masalah yang sangat besar dan memecahnya menjadi lebih kecil, lebih mudah terkawal, beroperasi pada setiap bahagian secara bebas, dan kemudian tarik semuanya bersama-sama pada akhirnya. Tambahan pula, fungsi peta adalah commutative - dengan kata lain, perintah yang berfungsi dilaksanakan tidaklah penting.

Jadi MapReduce boleh melakukan kerja pada mesin yang berbeza dalam rangkaian. Ia juga boleh menarik dari pelbagai sumber data, dalaman atau luaran. MapReduce menjejaki kerjanya dengan mencipta kunci yang unik untuk memastikan semua pemprosesan berkaitan dengan menyelesaikan masalah yang sama.Kekunci ini juga digunakan untuk menarik semua output bersama-sama pada akhir semua tugas yang diedarkan.