Video: Hadoop Processing Frameworks 2024
Penyelesaian untuk memperluas kelompok Hadoop selama-lamanya adalah federate the NameNode. Sebelum Hadoop 2 memasuki tempat kejadian, kelompok Hadoop terpaksa hidup dengan hakikat bahawa NameNode diletakkan pada tahap yang mereka boleh skala. Kelompok-kelebihan hanya boleh melebihi 3,000 atau 4,000 nod.
NameNode perlu mengekalkan rekod untuk setiap blok data yang disimpan dalam cluster ternyata menjadi faktor yang paling penting yang menyekat pertumbuhan cluster yang lebih besar. Apabila anda mempunyai terlalu banyak blok, ia menjadi semakin sukar bagi NameNode untuk ditingkatkan sebagai skala cluster Hadoop.
Khususnya, anda perlu menetapkan HDFS sehingga anda mempunyai banyak contoh NameNode yang berjalan pada nod master mereka sendiri dan kemudian menjadikan setiap NameNode bertanggungjawab hanya untuk blok fail dalam ruang nama sendiri.
Angka tersebut menunjukkan pola replikasi blok data dalam HDFS. Anda boleh melihat kumpulan Hadoop dengan dua NameNodes yang melayani satu kelompok. Node hamba semuanya mengandungi blok dari kedua-dua ruang nama.
