Nod hamba dalam Sistem Fail Teragih Hadoop (HDFS) - dummies

Dalam kumpulan Hadoop, setiap nod data (juga dikenali sebagai nod budak ) berjalan proses latar belakang bernama DataNode. Proses latar belakang (juga dikenali sebagai daemon ) menjejaki kepingan data yang disimpan oleh sistem pada komputernya. Ia kerap bercakap dengan pelayan induk untuk HDFS (dikenali sebagai NameNode) untuk melaporkan kesihatan dan status data yang disimpan secara tempatan.

Blok data disimpan sebagai fail mentah dalam sistem fail setempat. Dari perspektif pengguna Hadoop, anda tidak tahu mana dari nod hamba mempunyai kepingan fail yang anda perlukan untuk memproses. Dari dalam Hadoop, anda tidak melihat blok data atau bagaimana ia didistribusikan merentasi kluster - yang anda lihat hanyalah satu senarai fail dalam HDFS.

Kerumitan bagaimana blok fail diedarkan di seluruh kumpulan tersembunyi daripada anda - anda tidak tahu betapa rumitnya semuanya, dan anda tidak perlu untuk tahu. Sebenarnya, nod hamba sendiri tidak tahu apa yang ada dalam blok data yang mereka simpan. Ia adalah pelayan NameNode yang mengetahui pemetaan blok data yang menyusun fail yang disimpan dalam HDFS.

Hidup yang lebih baik melalui redundansi

Satu prinsip reka bentuk teras HDFS adalah konsep meminimumkan kos nod hamba individu dengan menggunakan komponen perkakasan komoditi. Untuk sistem secara besar-besaran yang berskala, idea ini adalah satu yang masuk akal kerana kos meningkat dengan cepat apabila anda memerlukan beratus-ratus atau ribuan nod hamba. Dengan menggunakan perkakasan kos rendah, akibatnya, dalam komponen individu itu tidak dapat dipercaya sebagai perkakasan yang lebih mahal.

Apabila anda memilih pilihan penyimpanan, pertimbangkan kesan menggunakan pemacu komoditi dan bukan pemacu berkualiti perusahaan yang lebih mahal. Bayangkan anda mempunyai cluster 750-nod, di mana setiap nod mempunyai 12 pemacu cakera keras yang didedikasikan untuk penyimpanan HDFS.

Berdasarkan kadar kegagalan tahunan (AFR) sebanyak 4 peratus untuk pemacu cakera komoditi (pemacu cakera keras yang diberikan mempunyai kemungkinan 4 peratus gagal dalam tahun tertentu, dengan kata lain), kumpulan anda mungkin akan mengalami cakera keras kegagalan setiap hari sepanjang tahun.

Oleh kerana terdapat banyak nod hamba, kegagalan mereka juga merupakan kejadian biasa dalam kelompok besar dengan beratus-ratus atau lebih banyak nod. Dengan maklumat ini dalam fikiran, HDFS telah direkabentuk dengan mengandaikan bahawa komponen perkakasan semua , walaupun di peringkat nod hamba, tidak boleh dipercayai.

HDFS mengatasi ketidakstabilan komponen perkakasan individu dengan cara redundansi: Itulah idea di sebalik ketiga-tiga salinan setiap fail yang disimpan dalam HDFS, diedarkan ke seluruh sistem.Lebih khusus lagi, setiap blok fail yang disimpan dalam HDFS mempunyai tiga replika. Jika satu sistem memecah dengan blok fail tertentu yang anda perlukan, anda boleh beralih kepada dua yang lain.

Melakukan reka bentuk pelayan simpul hamba

Untuk mengimbangi faktor penting seperti jumlah biaya pemilikan, kapasiti penyimpanan dan prestasi, anda perlu merancang dengan teliti reka bentuk nod budak anda.

Anda biasanya melihat nod hamba sekarang di mana setiap nod biasanya mempunyai antara 12 dan 16 pemacu cakera keras 3TB yang dilampirkan secara tempatan. Nodus hamba menggunakan CPU dwi-soket dengan cepat dengan enam hingga lapan teras setiap - tiada setan kelajuan, dengan kata lain. Ini disertakan dengan 48GB RAM. Ringkasnya, pelayan ini dioptimumkan untuk penyimpanan yang padat.

Oleh kerana HDFS adalah sistem fail peringkat ruang pengguna, penting untuk mengoptimumkan sistem fail setempat pada nod budak untuk berfungsi dengan HDFS. Dalam hal ini, satu keputusan berimpak tinggi apabila menubuhkan pelayan anda memilih sistem fail untuk pemasangan Linux pada nod hamba.

Ext3 adalah sistem fail yang paling sering digunakan kerana ia merupakan pilihan yang paling stabil untuk beberapa tahun. Walau bagaimanapun, lihat Ext4. Ia adalah versi seterusnya Ext3, dan ia telah tersedia cukup lama untuk dianggap secara meluas sebagai stabil dan boleh dipercayai.

Yang lebih penting untuk tujuan kami, ia mempunyai beberapa pengoptimuman untuk mengendalikan fail besar, yang menjadikannya pilihan ideal untuk pelayan nodus hamba HDFS.

Jangan gunakan Pengurus Kelantangan Logik Linux (LVM) - ia merupakan lapisan tambahan antara sistem fail Linux dan HDFS, yang menghalang Hadoop daripada mengoptimumkan prestasinya. Khususnya, LVM mengagregatkan cakera, yang menghalang pengurusan sumber yang HDFS dan YARN dilakukan, berdasarkan bagaimana file diedarkan pada pemacu fizikal.