Video: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2024
Hadoop lebih daripada MapReduce dan HDFS (Hadoop Sistem Fail Teragih): Ia juga merupakan keluarga projek-projek yang berkaitan (ekosistem, benar-benar) untuk pengkomputeran diedarkan dan berskala besar pemprosesan data. Kebanyakan (tetapi tidak semua) projek-projek ini dihoskan oleh Yayasan Perisian Apache. Jadual ini menyenaraikan beberapa projek ini.
Nama Projek | Deskripsi |
---|---|
Ambari | Satu set alat pentadbiran Hadoop bersepadu untuk memasang, memantau, dan mengekalkan kluster Hadoop. Juga
termasuk alat untuk menambah atau mengalihkan nod hamba. Avro |
Rangka kerja bagi penyegerakan yang efisien (jenis | transformasi) data ke dalam format perduaan padat
Flume |
Perkhidmatan aliran data untuk pergerakan jumlah log yang besar > data ke Hadoop | HBase
Pangkalan data kolumnar yang diedarkan yang menggunakan HDFS untuk penyimpanannya |
. Dengan HBase, anda boleh menyimpan data dalam sangat | jadual besar dengan struktur lajur yang berubah-ubah.
HCatalog Perkhidmatan untuk menyediakan pandangan hubungan data yang disimpan dalam |
Hadoop, termasuk pendekatan standard untuk data jadual | Hive
Gudang data yang diedarkan untuk data yang disimpan dalam HDFS; |
juga menyediakan bahasa pertanyaan yang berasaskan SQL | (HiveQL)
Hue Antara muka pentadbiran Hadoop dengan alat GUI berguna untuk fail melayari |
, mengeluarkan pertanyaan Hive dan Pig, dan membangunkan Oozie < Mahout | Sebuah perpustakaan algoritma statistik pembelajaran mesin yang
dilaksanakan di MapReduce dan boleh dijalankan secara asli pada Hadoop Oozie |
Alat pengurusan alur kerja yang boleh mengendalikan penjadualan dan > menggabungkan bersama aplikasi Hadoop | Babi
Platform untuk analisis set data yang sangat besar yang berjalan |
di HDFS dan dengan lapisan infrastruktur yang terdiri daripada pengkompil | yang menghasilkan urutan peta MapReduce dan lapisan bahasa
yang terdiri daripada bahasa pertanyaan bernama Pig Latin |
Sqoop | Alat untuk memindahkan sejumlah besar data antara
pangkalan data relasi dan HDFS ZooKeeper Antara muka yang mudah untuk berpusat koordinasi perkhidmatan |
(seperti penamaan, konfigurasi, dan penyelarasan) kami ed oleh | aplikasi yang diedarkan
|
Ekosistem Hadoop dan pengedaran komersilnya terus berkembang, dengan teknologi dan alat baru dan lebih baik muncul sepanjang masa. | Angka ini menunjukkan pelbagai projek ekosistem Hadoop dan bagaimana ia berkaitan dengan satu sama lain:
|