Menguruskan Fail dengan Perintah Sistem Hadoop Fail - dummies

HDFS adalah salah satu daripada dua komponen utama rangka kerja Hadoop; yang lain adalah paradigma komputasi yang dikenali sebagai MapReduce. A sistem fail diedarkan adalah sistem fail yang menguruskan storan merentasi kluster mesin rangkaian.

HDFS menyimpan data dalam blok , unit yang saiz lalainya adalah 64MB. Fail-fail yang anda mahu disimpan di HDFS perlu dipecahkan kepada bahagian-bahagian saiz blok yang kemudian disimpan secara tersendiri di seluruh kelompok. Anda boleh menggunakan arahan baris fsck untuk menyenaraikan blok yang membentuk setiap fail dalam HDFS, seperti berikut:

% hadoop fsck / -files -blocks

Oleh kerana Hadoop ditulis dalam Java, semua interaksi dengan HDFS diuruskan melalui Java API. Walau bagaimanapun, perlu diingat bahawa anda tidak perlu menjadi guru Java untuk bekerja dengan fail dalam HDFS. Beberapa antara muka Hadoop yang dibina di atas API Java kini digunakan umum (dan menyembunyikan Java), tetapi yang paling mudah ialah antara muka baris arahan; gunakan baris arahan untuk berinteraksi dengan HDFS dalam contoh yang disediakan.

Anda mengakses shell sistem fail Hadoop dengan menjalankan satu bentuk perintah hadoop. Semua arahan hadoop dipanggil oleh skrip bin / hadoop. (Untuk mendapatkan perihalan semua arahan hadoop, jalankan skrip hadoop tanpa menentukan sebarang argumen.) Perintah hadoop mempunyai sintaks

hadoop [--config confdir] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]

config confdir pilihan menggantikan direktori konfigurasi lalai ($ HADOOP_HOME / conf), supaya anda boleh dengan mudah menyesuaikan konfigurasi lingkungan Hadoop anda. Opsyen generik dan pilihan perintah adalah pilihan umum yang disokong oleh beberapa perintah.

Perintah shell sistem fail Hadoop (untuk antaramuka baris perintah) mengambil pengenal sumber seragam (URI) sebagai argumen. A URI adalah rentetan aksara yang digunakan untuk mengenal pasti nama atau sumber web.

Rentetan itu boleh memasukkan nama skema - kelayakan untuk sifat sumber data. Untuk HDFS, nama skema adalah hdfs, dan untuk sistem fail setempat, nama skim adalah fail. Jika anda tidak menentukan nama skema, lalai adalah nama skema yang dinyatakan dalam fail konfigurasi. Fail atau direktori di HDFS boleh ditentukan mengikut cara yang memenuhi syarat, seperti dalam contoh ini:

hdfs: // namenodehost / induk / anak

Atau boleh jadi / ibu bapa / anak jika titik fail konfigurasi untuk hdfs: // namenodehost.

Perintah shell sistem fail Hadoop, yang serupa dengan perintah fail Linux, mempunyai sintaks umum yang berikut:

hadoop hdfs dfs - file_cmd

Pembaca dengan beberapa pengalaman Hadoop sebelumnya mungkin bertanya, "Tetapi apa mengenai arahan hadoop fs?"Perintah fs tidak digunakan dalam siri pelepasan Hadoop 0. 2, tetapi masih berfungsi di Hadoop 2. Gunakan dfs hdfs sebaliknya.

Seperti yang anda harapkan, anda menggunakan arahan mkdir untuk membuat direktori dalam HDFS, seperti yang anda lakukan pada Linux atau pada sistem operasi berasaskan Unix. Walaupun HDFS mempunyai direktori kerja default, / user / $ USER, di mana $ USER adalah nama pengguna masuk anda, anda perlu mencipta sendiri dengan menggunakan sintaks

$ hadoop hdfs dfs -mkdir / user / login_user_name

Sebagai contoh, untuk membuat direktori bernama "joanna", jalankan arahan mkdir ini:

$ hadoop hdfs dfs -mkdir / user / joanna

sistem fail setempat anda kepada HDFS:

$ hadoop hdfs dfs -put file_name / user / login_user_name

Sebagai contoh, untuk menyalin fail bernama data. txt ke direktori baru ini, jalankan perintah berikut:

$ hadoop hdfs dfs -put data. txt / user / joanna

Jalankan arahan ls untuk mendapatkan penyenaraian fail HDFS:

$ hadoop hdfs dfs -ls. Found 2 items drwxr-xr-x - joanna supergroup 0 2013-06-30 12: 25 / user / joanna -rw-r - r-- 1 joanna supergroup 118 2013-06-30 12:15 / data. txt

Senarai fail itu sendiri akan dimatikan seperti yang dijelaskan dalam senarai ini:

• Kolom 1 menunjukkan mod fail ("d" untuk direktori dan "-" untuk fail normal, diikuti dengan kebenaran). Ketiga jenis kebenaran - baca (r), tulis (w), dan laksanakan (x) - adalah sama seperti yang anda temukan di sistem berasaskan Linux dan Unix. Kebenaran untuk melaksanakan fail diabaikan kerana anda tidak dapat melaksanakan fail pada HDFS. Kebenaran dikumpulkan oleh pemilik, kumpulan, dan orang awam (orang lain).

• Kolom 2 menunjukkan faktor replikasi untuk fail. (Konsep replikasi tidak digunakan untuk direktori.) Blok yang membuat fail dalam HDFS direplikasi untuk memastikan toleransi kesalahan. Faktor replikasi , atau bilangan replika yang disimpan untuk fail tertentu, boleh dikonfigurasi. Anda boleh menentukan faktor replikasi apabila fail dibuat atau kemudian, melalui aplikasi anda.

• Lajur 3 dan 4 menunjukkan fail pemilik dan kumpulan . Supergroup adalah nama kumpulan pengguna superuser, dan superuser adalah pengguna dengan identiti yang sama dengan proses NameNode. Jika anda memulakan NameNode, anda adalah superuser sekarang. Ini adalah kumpulan khas - pengguna biasa akan mempunyai pengguna mereka tergolong dalam kumpulan tanpa ciri khas - kumpulan yang hanya ditakrifkan oleh pentadbir Hadoop.

• Ruangan 5 menunjukkan saiz fail, dalam bait, atau 0 jika ia direktori.

• Lajur 6 dan 7 menunjukkan tarikh dan masa pengubahsuaian terakhir.

• Ruangan 8 menunjukkan nama yang tidak layak (yang bermaksud nama skim tidak ditentukan) dari fail atau direktori.

Gunakan arahan Hadoop untuk menyalin fail dari HDFS ke sistem fail setempat anda:

$ hadoop hdfs dfs -get file_name / user / login_user_name

Gunakan Hadoop rm perintah untuk memadam fail atau direktori kosong:

$ hadoop hdfs dfs -rm file_name / user / login_user_name

Gunakan command hosps hadfs hfss untuk mendapatkan bantuan terperinci untuk setiap pilihan.