Rangkaian dan Hadoop Clusters - dummies

Seperti mana-mana sistem yang diedarkan, rangkaian boleh membuat atau memecahkan sekumpulan Hadoop: Jangan "murah. "Banyak perbualan berlaku di antara nod induk dan nod hamba dalam kumpulan Hadoop yang penting dalam menjaga kluster berjalan, jadi suis kelas perusahaan pasti disyorkan.

Bagi setiap rak dalam kluster anda, anda memerlukan dua suis atas (Rak) untuk kedua-dua kelebihan dan prestasi. Gunakan 10GbE untuk suis ToR.

Tukar ToR adalah suis rangkaian yang menyambungkan semua komputer dalam rak bersama. Anda biasanya melihat mereka di atas rak, oleh itu orang berkata "rak atas. "Pendekatan rangkaian alternatif adalah menggunakan suis akhir (EOR), tetapi anda tidak melihat ini sangat kerap.

Pendekatan ToR adalah lebih mudah dari perspektif rangkaian untuk kluster yang semakin meningkat. Contohnya, menambah nod hamba dan rak tambahan jauh lebih mudah dengan suis ToR daripada EoR.

Apabila anda mempunyai lebih daripada tiga rak, anda memerlukan sekurang-kurangnya dua suis teras (sekali lagi, terutamanya untuk redundansi, tetapi juga untuk prestasi). Suis teras ini mengendalikan sejumlah besar trafik, jadi 40GbE adalah satu keperluan.

Jika anda sedang membina atau memperluaskan kluster kepada pelbagai rak, melibatkan pakar rangkaian yang biasa dengan Hadoop, rancangan pertumbuhan masa depan anda dan beban kerja anda. Rangkaian buruk boleh menghalang prestasi, tetapi ia juga boleh membuat pertumbuhan masa depan menyakitkan dan mahal.