Nod kelebihan dalam Hadoop Clusters - dummies

Kelebihan nod adalah antara antara kluster Hadoop dan rangkaian luar. Atas sebab ini, mereka kadang-kadang dirujuk sebagai nod gerbang . Kebanyakan nod kelebihan digunakan untuk menjalankan aplikasi klien dan alat pentadbiran kluster.

Mereka juga sering digunakan sebagai kawasan pementasan untuk data yang dipindahkan ke dalam cluster Hadoop. Oleh itu, Oozie, Pig, Sqoop, dan alat pengurusan seperti Hue dan Ambari berjalan dengan baik di sana. Angka ini menunjukkan proses yang boleh anda jalankan di nod Edge.

Nod kelebihan sering diabaikan dalam perbincangan seni bina Hadoop. Keadaan ini adalah malang kerana nod kelebihan memberi maksud penting dalam cluster Hadoop, dan mereka mempunyai keperluan perkakasan yang berbeza dari nod master dan nod hamba.

Secara amnya, adalah idea yang baik untuk meminimumkan penyebaran alat pentadbiran pada nod induk dan nod hamba untuk memastikan bahawa perkhidmatan Hadoop kritikal seperti NameNode mempunyai persaingan yang sedikit untuk sumber-sumber yang mungkin.

Anda harus mengelakkan meletakkan utiliti pemindahan data seperti Sqoop pada apa pun tetapi nod kelebihan, kerana jumlah pemindahan data yang tinggi dapat merisakan keupayaan perkhidmatan Hadoop pada node yang sama untuk berkomunikasi. Mesej pertukaran pertukaran Hadoop adalah nyawa mereka, latensi yang tinggi sehingga seluruh node dapat dipotong dari cluster.

Angka itu menunjukkan dua nod kelebihan, tetapi untuk banyak kelompok Hadoop satu nod kelebihan akan cukup. Nod kelebihan tambahan biasanya diperlukan apabila volum data yang dipindahkan masuk atau keluar dari kluster terlalu banyak untuk satu pelayan untuk dikendalikan.

Storan yang disyorkan

Untuk nod kelebihan dalam kelompok Hadoop, gunakan storan kelas perusahaan. Untuk nod kelebihan yang difokuskan pada alat pentadbiran dan menjalankan aplikasi klien, gunakan empat pemacu SAS 900GB, bersama dengan pengawal RAID HDD yang dikonfigurasikan untuk RAID 1 + 0.

Nod kelebihan berorientasikan untuk mencantumkan data jelas memerlukan lebih banyak ruang penyimpanan, jadi anda boleh menambah pemacu ke nod kelebihan. Dalam kes ini, gunakan pemacu LFF SAS kerana kapasiti lebih tinggi tersedia, berbanding dengan pemacu SAS faktor bentuk yang lebih kecil.

Pemproses yang disyorkan

Nod tepi tujuan umum akan diservis dengan baik oleh konfigurasi pemproses yang serupa dengan yang digunakan untuk nod hamba - khususnya, pelayan dwi-soket dengan pemproses Ivy Bridge mencatat antara 2 dan 2. 5GHz.

Memori yang disyorkan

Bagi kebanyakan beban kerja pada nuk tepi, 48GB RAM cukup.

Rangkaian yang disyorkan

Untuk membolehkan komunikasi di antara rangkaian luar dan kumpulan Hadoop, nod kelebihan perlu menjadi multi-homed ke subnet swasta dari cluster Hadoop serta ke dalam rangkaian korporat.

Komputer berbilang rumah adalah salah satu yang mempunyai sambungan khusus untuk pelbagai rangkaian. Ini adalah ilustrasi praktikal mengapa nod kelebihan sangat sesuai untuk interaksi dengan dunia di luar cluster Hadoop. Menyimpan kumpulan Hadoop anda dalam subnet swasta sendiri adalah amalan yang sangat baik, jadi nod kelebihan ini berfungsi sebagai tetingkap terkawal di dalam kelompok.

Untuk nod kelebihan yang berfungsi untuk menjalankan aplikasi klien atau alat pentadbiran, dua pasang sambungan rangkaian 1GbE yang disyorkan disarankan: satu pasang untuk menyambung ke cluster Hadoop dan pasangan lain untuk rangkaian luar. Nod kelebihan berorientasikan untuk mengendalikan kadar pemindahan data masuk dan keluar yang tinggi akan memerlukan dua (atau lebih) pasang penyambung rangkaian 10GbE terikat: sepasang untuk menyambung ke cluster Hadoop dan pasangan lain untuk rangkaian luar atau sumber data tertentu yang menelan.