Hadoop perintah pentadbiran - dummies

Sebahagian daripada Hadoop untuk Menipu Sheet Sheet

Mana-mana pentadbir Hadoop yang bernilai garamnya mesti menguasai satu set arahan yang komprehensif untuk pentadbiran kluster. Senarai berikut meringkaskan arahan yang paling penting, yang menunjukkan arahan dan sintaks dan contohnya. Ketahui mereka, dan anda akan memajukan jauh di sepanjang jalan menuju kebijaksanaan Hadoop.

• balancer : Menjalankan utiliti keseimbangan kluster. Nilai ambang ditentukan, yang mewakili peratusan kapasiti cakera, digunakan untuk menimpa nilai ambang lalai (10 peratus). Untuk menghentikan proses pengimbangan semula, tekan Ctrl + C.

  Sintaks: pengimbang hadoop [-semua]

  Contoh: hadoop balancer - threshold 20

• daemonlog : untuk setiap daemon (juga dikenali sebagai perkhidmatan). Menyambung ke // host: port / logLevel? log = nama dan cetakan atau tentukan paras log daemon yang berjalan di host: port. Daemon Hadoop menjana fail log yang membantu anda menentukan apa yang berlaku pada sistem, dan anda boleh menggunakan perintah daemonlog untuk mengubah tahap log bagi komponen Hadoop buat sementara waktu apabila anda menyahpepijat sistem. Perubahan menjadi berkesan apabila daemon dimulakan semula.

  Sintaks: hadoop daemonlog -getlevel; hadoop daemonlog -setlevel

  Contoh: daemonlog hadoop -getlevel 10. 250. 1. 15: 50030 org. apache. hadoop. dipetakan. JobTracker; hademon daemonlog -setlevel 10. 250. 1. 15: 50030 org. apache. hadoop. dipetakan. JobTracker DEBUG

• datanode : Menjalankan perkhidmatan HDN DataNode, yang menyelaraskan storan pada setiap nod hamba. Jika anda menentukan -backback, DataNode dilancarkan kembali ke versi terdahulu. Hentikan DataNode dan edarkan versi Hadoop sebelumnya sebelum menggunakan pilihan ini.

  hadoop datanode -backback dfsadmin

  : Menjalankan sejumlah Hadoop File yang Diagihkan Operasi pentadbiran Sistem (HDFS). Gunakan pilihan -help untuk melihat senarai semua pilihan yang disokong. Pilihan generik adalah satu set pilihan biasa yang disokong oleh beberapa arahan.

• Sintaks: hadoop dfsadmin [GENERIC_OPTIONS] [-report] [-safemode enter | meninggalkan | dapatkan | tunggu] [-refreshNodes] [-finalizeUpgrade] [-membuat statusProgress | butiran | memaksa] [-menyemak nama fail] [-setQuota …] [-clrQuota …] [-restoreFailedStorage true | false | check] [-help [cmd]] mradmin

  : Menjalankan beberapa MapReduce administrative operasi. Gunakan pilihan -help untuk melihat senarai semua pilihan yang disokong.Sekali lagi, pilihan generik adalah satu set pilihan umum yang disokong oleh beberapa arahan. Sekiranya anda menentukan -refreshServiceAcl, muat semula fail dasar kebenaran tahap perkhidmatan (JobTracker muat semula fail dasar kebenaran); -RefreshQueues memuatkan semula senarai kawalan akses gilir (ACLs) dan menyatakan (JobTracker memuatkan semula fail-fail giliran yang dimodelkan. xml); -refreshNodes menyegarkan maklumat tuan rumah di JobTracker; -RefreshUserToGroupsPembuka menyegarkan pemetaan pengguna-ke-kumpulan; -RefreshSuperUserGroupsConfiguration menyegarkan pemetaan kumpulan proksi superuser; dan -help [cmd] memaparkan bantuan untuk arahan yang diberikan atau untuk semua arahan jika tiada yang ditentukan.

• Syntax: hadoop mradmin [GENERIC_OPTIONS] [-refreshServiceAcl] [-refreshQueues] [-refreshNodes] [-refreshUserToGroupsMappings] [-refreshSuperUserGroupsConfiguration] [-help [cmd]]
  Example:

  hadoop mradmin -help -refreshNodes jobtracker

  : Runs the MapReduce JobTracker node, yang menyelaraskan sistem pemprosesan data untuk Hadoop. Jika anda menentukan -dumpConfiguration, konfigurasi yang digunakan oleh JobTracker dan konfigurasi baris gilir dalam format JSON dituliskan kepada output standard.

• hadoop jobtracker -dumpConfiguration namenode

  :

  Run NameNode, yang mengkoordinasikan penyimpanan untuk seluruh kelompok Hadoop. Jika anda menentukan format, NameNode dimulakan, diformat, dan kemudian dihentikan; dengan peningkatan, NameNode bermula dengan pilihan menaik taraf selepas versi Hadoop baru diedarkan; dengan -rollback, NameNode dilancarkan kembali ke versi sebelumnya (ingat untuk menghentikan kluster dan mengedarkan versi Hadoop sebelumnya sebelum menggunakan pilihan ini); dengan keadaan, sistem fail sistem sebelumnya telah dialih keluar, naik taraf yang paling terkini menjadi pemulihan tetap, tidak lagi tersedia, dan NameNode dihentikan; akhirnya, dengan -pointportpoint, imej dimuatkan dari direktori pemeriksaan (seperti ditentukan oleh fs. pos pemeriksaan. dir property) dan disimpan ke dalam direktori semasa.

  Sintaks: hadoop namenode [-format] | [naikkan] | [-backback] | [-finalis] | [-importCheckpoint]

• Contoh: hadoop namenode -finalize Namenode sekunder

  :

  Menjalankan NameNode sekunder. Sekiranya anda menentukan titik cerai, titik pemeriksaan pada NameNode menengah dilakukan jika saiz EditLog (log transaksi yang merekod setiap perubahan yang berlaku kepada metadata sistem fail) adalah lebih besar atau sama dengan fs. pemeriksaan. saiz; menentukan kekuatan dan pusat pemeriksaan dilakukan tanpa mengira saiz EditLog; nyatakan -geteditsize dan saiz EditLog dicetak. Sintaks:

  hadoop keduanamenode [-checkpoint [force]] | [-geteditsize] Contoh:

• hadoop secondarynamenode -geteditsize tasktracker :

  Runs a MapReduce TaskTracker node. Syntax:

  tasktracker hadoop Contoh:

• tasktracker hadoop