Hadoop Rack Considerations - dummies

Prinsip utama Hadoop adalah berskala dengan nod budak tambahan untuk memenuhi peningkatan penyimpanan data dan permintaan-permintaan. Dalam model skala, anda mesti berhati-hati mempertimbangkan reka bentuk kluster kerana berpuluh-puluh, dan juga beratus-ratus, nod hamba akan akhirnya perlu diserang, dikuasakan, di rangkaian, dan disejukkan.

Faktor bentuk pelayan

Salah satu pilihan pertama yang arkitek IT akan dihadapi apabila mereka bentuk kluster Hadoop adalah antara dua faktor berikut yang akan digunakan untuk nod Hadoop:

• Blade server: Direka untuk ketumpatan maksimum, anda boleh menjejalkan seberapa banyak bayi ini ke dalam satu rak yang mungkin. Pelayan bilah sesuai dengan penutup bilah, yang mempunyai banyak komponen pelayan standard, seperti storan khusus, rangkaian, kuasa, dan penyejukan. Komponen ini dikongsi di antara pelayan blade, yang bermaksud bahawa setiap pelayan pisau individu boleh menjadi lebih kecil.

  Pelayan Blade adalah pilihan menarik di permukaan kerana anda boleh mengambil rak standard dan menggunakan antara 40 dan 50 pelayan blade ini. Masalah dengan menggunakan pisau untuk penyebaran Hadoop adalah bahawa mereka bergantung pada komponen yang dikongsi tertentu, yang tidak selaras dengan seni bina bersama-Hadoop, di mana setiap nod hamba adalah mandiri dan mempunyai sumber khusus mereka sendiri.

  Lebih penting lagi, pisau mempunyai sedikit ruang untuk storan yang dilekatkan di dalam negara, selalunya tidak mempunyai lebih dari dua atau tiga tempat pemanduan. Ini bukan permulaan untuk Hadoop, kerana nod hamba memerlukan lebih banyak kapasiti penyimpanan khusus.

• Server rak: Pelayan lengkap tanpa komponen dan ruang yang dikongsi untuk pengembangan perkakasan, pelayan rak adalah pilihan yang benar untuk Hadoop kerana mereka mempunyai kandungan yang baik. Pelayan rak yang dikonfigurasikan dengan tepat untuk menjadi simpul budak Hadoop biasanya menduduki dua RU, supaya anda boleh muat 20 dari mereka dalam rak standard.

Kos pemilikan

Apabila memilih dan mereka bentuk nod hamba, pertimbangan penting anda biasanya adalah kos perolehan awal dan jumlah penyimpanan. Walau bagaimanapun, kos pemilikan juga penting. Walau bagaimanapun, tindakan pengimbangan yang baik, kerana pilihan yang mempengaruhi kos perolehan, penggunaan kuasa, penyejukan, prestasi perkakasan, dan kepadatan seringkali bertentangan. Atas nama membantu anda membuat pilihan yang baik, inilah beberapa nasihat (agak khusus):

• Rizab bekalan kuasa berlebihan untuk nod induk. Memiliki bekalan kuasa berlebihan untuk nod hamba adalah berlebihan - kegagalan bekalan kuasa dalam nod hamba tidak akan memberi kesan besar kepada kumpulan.Bagaimanapun, bekalan kuasa yang berlebihan pada semua nod hamba akan meningkatkan penggunaan kuasa dan menjana lebih banyak haba.

• Pilih kelajuan jam menengah untuk hamba CPU nod. CPU dengan kelajuan jam yang lebih tinggi tidak hanya lebih mahal tetapi juga menggunakan lebih banyak kuasa dan menghasilkan lebih banyak haba.

• Pilih pelayan rak yang direka untuk Hadoop. Dengan populariti Hadoop yang semakin meningkat, semua vendor perkakasan utama kini menawarkan pelayan rak yang merupakan nod hamba yang ideal, dengan 12 hingga 20 tempat penyimpanan untuk penyimpanan yang dipasang secara tempatan.

  Server rak yang direka untuk berfungsi sebagai nod hadoop budak biasanya terlalu besar untuk disesuaikan dengan faktor bentuk satu RU, tetapi mengambil dua RU boleh menyebabkan ruang yang terbuang. Untuk penggunaan ruang yang lebih efisien, vendor perkakasan tertentu telah mengeluarkan pelayan rak yang menjejaskan beberapa nod hamba ke dalam casis tunggal.

  Sebagai contoh, dalam bentuk termampat ini, rak standard boleh mempunyai sebanyak 27 nod hamba (walaupun dengan suis rangkaian), di mana setiap nod hamba mempunyai ruang untuk 15 cakera cakera untuk HDFS. Pengambilan susunan ini adalah ketumpatan yang jauh lebih tinggi dan penggunaan ruang yang lebih baik di pusat data.