Menjalankan Aplikasi Sebelum Hadoop 2 - dummies

Video: How to Install Hadoop on Windows 2024

Oleh kerana banyak penyebaran Hadoop yang masih belum digunakan Namun Satu Lagi Sumber Daya Negosiator (YARN), lihat dengan cepat bagaimana Hadoop menguruskan pemprosesan datanya sebelum hari-hari dari Hadoop 2. Berkonsentrasi pada peranan daemon tuan kerja JobTracker dan daemon Dompet TaskTracker yang dimainkan dalam mengendalikan pemprosesan MapReduce.

Titik keseluruhan menggunakan sistem yang diedarkan adalah untuk dapat menggunakan sumber-sumber pengkomputeran dalam rangkaian komputer yang serba lengkap dengan cara yang bersalah-toleran, mudah, dan murah.

Dalam sistem yang diedarkan seperti Hadoop, di mana anda mempunyai kumpulan nod perhitungan mandiri yang bekerja sama secara seragam, banyak kerumitan akan memastikan semua bahagian berfungsi bersama. Oleh itu, sistem ini biasanya mempunyai lapisan berbeza untuk mengendalikan tugas yang berbeza untuk menyokong pemprosesan data selari.

Konsep ini, dikenali sebagai pemisahan keprihatinan, memastikan bahawa jika anda, misalnya, pengatur aplikasi, anda tidak perlu bimbang tentang butiran khusus untuk, katakan, kegagalan tugas peta. Dalam Hadoop, sistem ini terdiri daripada empat lapisan berbeza, seperti yang ditunjukkan:

Storan terdistribusi: Sistem Fail yang Diagihkan Hadoop (HDFS) adalah lapisan penyimpanan di mana data, keputusan interim, dan set hasil akhir disimpan.
Pengurusan sumber: Selain ruang cakera, semua nod hamba dalam cluster Hadoop mempunyai kitaran CPU, RAM, dan jalur lebar rangkaian. Sistem seperti Hadoop perlu dapat membebankan sumber-sumber ini supaya pelbagai aplikasi dan pengguna dapat berkongsi cluster dengan cara yang boleh diramal dan boleh diubah. Kerja ini dilakukan oleh daemon JobTracker.
Rangka pemprosesan: Aliran proses MapReduce mentakrifkan pelaksanaan semua aplikasi dalam Hadoop 1. Ini bermula dengan fasa peta; terus dengan pengagregatan dengan shuffle, sort, atau bergabung; dan berakhir dengan fasa mengurangkan. Dalam Hadoop 1, ini juga dikendalikan oleh daemon JobTracker, dengan pelaksanaan tempatan diuruskan oleh daemon TaskTracker yang berjalan pada nod hamba.
Antaramuka Pemrograman Aplikasi (API): Aplikasi yang dibangunkan untuk Hadoop 1 diperlukan untuk dikodkan menggunakan API MapReduce. Di Hadoop 1, projek Hive and Pig menyediakan programer dengan interface yang lebih mudah untuk menulis aplikasi Hadoop, dan di bawah hud, kod mereka dikompilkan ke MapReduce.