Video: Mencoba Armada Baru Zaffina Jetbus 3+ SHD Suos Corr 2024
Dalam alam semesta Hadoop, nod hamba berada di mana data Hadoop disimpan dan di mana pemprosesan data berlaku. Perkhidmatan berikut membolehkan nod budak menyimpan dan memproses data:
-
NodeManager: Menyelaras sumber untuk nod hamba individu dan melaporkan kembali kepada Pengurus Sumber.
-
ApplicationMaster: Mengesan kemajuan semua tugas yang dijalankan pada cluster Hadoop untuk aplikasi tertentu. Untuk setiap aplikasi klien, Pengurus Sumber mengalihkan contoh perkhidmatan ApplicationMaster dalam bekas pada nod hamba. (Ingat bahawa mana-mana nod yang menjalankan perkhidmatan NodeManager boleh dilihat oleh Pengurus Sumber.)
-
Container: Satu koleksi semua sumber yang diperlukan untuk menjalankan tugas individu untuk aplikasi. Apabila aplikasi berjalan di kluster, Pengurus Sumber jadual tugas untuk aplikasi berjalan sebagai perkhidmatan kontena pada nod hamba cluster.
-
TaskTracker: Menguruskan peta individu dan mengurangkan tugas yang dilaksanakan pada nod hamba untuk kelompok Hadoop 1. Dalam Hadoop 2, perkhidmatan ini sudah usang dan telah digantikan oleh perkhidmatan YARN.
-
DataNode: Perkhidmatan HDFS yang membolehkan NameNode menyimpan blok pada nod hamba.
-
RegionServer: Menyimpan data untuk sistem HBase. Di Hadoop 2, HBase menggunakan Hoya, yang membolehkan keadaan RegionServer dijalankan dalam bekas.
Di sini, setiap node hamba sentiasa menjalankan contoh DataNode (yang membolehkan HDFS menyimpan dan mengambil blok data pada nod hamba) dan contoh NodeManager (yang membolehkan Pengurus Sumber untuk menetapkan tugas permohonan kepada nod hamba untuk diproses). Proses kontena adalah tugas individu untuk aplikasi yang berjalan di kluster.
Setiap aplikasi yang berjalan mempunyai tugas ApplicationMaster yang dikhususkan, yang juga dijalankan dalam bekas, dan menjejaki pelaksanaan semua tugas yang dilaksanakan pada cluster hingga aplikasi selesai.
Dengan HBase pada Hadoop 2, model kontena masih diikuti, seperti yang anda lihat:
HBase pada Hadoop 2 dimulakan oleh Hoya Application Master, yang meminta bekas untuk perkhidmatan HMaster. (Anda memerlukan pelbagai perkhidmatan HMaster untuk redundansi.) Master Permohonan Hoya juga meminta sumber untuk RegionServers, yang juga dijalankan dalam bekas khusus.
Angka berikut menunjukkan perkhidmatan yang digunakan pada Hadoop 1 hamba nod. Untuk Hadoop 1, setiap node budak sentiasa menjalankan contoh DataNode (yang membolehkan HDFS menyimpan dan mengambil blok data pada nod hamba) dan contoh TaskTracker (yang membolehkan JobTracker menyerahkan peta dan mengurangkan tugas kepada nod budak untuk pemprosesan).
Node budak mempunyai nombor tetap slot peta dan mengurangkan slot untuk pelaksanaan peta dan mengurangkan tugas masing-masing. Sekiranya kumpulan anda menjalankan HBase, beberapa nod hamba anda perlu menjalankan perkhidmatan RegionServer. Lebih banyak data yang anda simpan di HBase, lebih banyak keadaan RegionServer yang anda perlukan.
Kriteria perkakasan untuk nod hamba agak berbeza daripada mereka untuk nod induk; sebenarnya, kriteria tidak sepadan dengan yang terdapat dalam arsitektur rujukan perkakasan tradisional untuk pelayan data. Kebanyakan buzz sekitar Hadoop adalah disebabkan oleh penggunaan perkakasan komoditi dalam kriteria reka bentuk kluster Hadoop, tetapi perlu diingat bahawa perkakasan
komoditi tidak merujuk kepada perkakasan gred pengguna. Hodop hambaop hamba masih memerlukan perkakasan gred perusahaan, tetapi pada hujung spektrum kos rendah, terutamanya untuk penyimpanan.
