Rumah Kewangan Peribadi Apache Hadoop Ecosystem - dummies

Apache Hadoop Ecosystem - dummies

Video: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2024

Video: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2024
Anonim

Hadoop lebih daripada MapReduce dan HDFS (Hadoop Sistem Fail Teragih): Ia juga merupakan keluarga projek-projek yang berkaitan (ekosistem, benar-benar) untuk pengkomputeran diedarkan dan berskala besar pemprosesan data. Kebanyakan (tetapi tidak semua) projek-projek ini dihoskan oleh Yayasan Perisian Apache. Jadual ini menyenaraikan beberapa projek ini.

Projek Hadoop yang Berkaitan

Nama Projek Deskripsi
Ambari Satu set alat pentadbiran Hadoop bersepadu untuk memasang, memantau, dan mengekalkan kluster Hadoop. Juga

termasuk alat untuk menambah atau mengalihkan nod hamba.

Avro

Rangka kerja bagi penyegerakan yang efisien (jenis transformasi) data ke dalam format perduaan padat

Flume

Perkhidmatan aliran data untuk pergerakan jumlah log yang besar > data ke Hadoop HBase

Pangkalan data kolumnar yang diedarkan yang menggunakan HDFS untuk penyimpanannya

. Dengan HBase, anda boleh menyimpan data dalam sangat jadual besar dengan struktur lajur yang berubah-ubah.

HCatalog

Perkhidmatan untuk menyediakan pandangan hubungan data yang disimpan dalam

Hadoop, termasuk pendekatan standard untuk data jadual Hive

Gudang data yang diedarkan untuk data yang disimpan dalam HDFS;

juga menyediakan bahasa pertanyaan yang berasaskan SQL (HiveQL)

Hue

Antara muka pentadbiran Hadoop dengan alat GUI berguna untuk fail melayari

, mengeluarkan pertanyaan Hive dan Pig, dan membangunkan Oozie < Mahout Sebuah perpustakaan algoritma statistik pembelajaran mesin yang

dilaksanakan di MapReduce dan boleh dijalankan secara asli pada Hadoop

Oozie

Alat pengurusan alur kerja yang boleh mengendalikan penjadualan dan > menggabungkan bersama aplikasi Hadoop Babi

Platform untuk analisis set data yang sangat besar yang berjalan

di HDFS dan dengan lapisan infrastruktur yang terdiri daripada pengkompil yang menghasilkan urutan peta MapReduce dan lapisan bahasa

yang terdiri daripada bahasa pertanyaan bernama Pig Latin

Sqoop Alat untuk memindahkan sejumlah besar data antara

pangkalan data relasi dan HDFS

ZooKeeper

Antara muka yang mudah untuk berpusat koordinasi perkhidmatan

(seperti penamaan, konfigurasi, dan penyelarasan) kami ed oleh aplikasi yang diedarkan

Ekosistem Hadoop dan pengedaran komersilnya terus berkembang, dengan teknologi dan alat baru dan lebih baik muncul sepanjang masa. Angka ini menunjukkan pelbagai projek ekosistem Hadoop dan bagaimana ia berkaitan dengan satu sama lain:
Apache Hadoop Ecosystem - dummies

Pilihan Editor

Cara RSVP ke Acara di Ning - patung

Cara RSVP ke Acara di Ning - patung

Di Ning, setelah anda menemukan persidangan itu mencari atau parti yang ingin anda hadiri, anda perlu RSVP untuk acara tersebut supaya pihak penganjur boleh mendapatkan jumlah minuman, makanan dan barang yang sesuai untuk semua peserta - dan juga rakan-rakan rangkaian anda yang tahu anda akan pergi . Untuk RSVP ...

Cara Menghantar Mesej Peribadi di Ning - dummies

Cara Menghantar Mesej Peribadi di Ning - dummies

Mesej hanya dengan dua kumpulan orang: rakan anda dan Pentadbir (termasuk Pencipta Rangkaian). Mesej peribadi Ning memberi anda cara yang ideal sebagai ahli untuk berkomunikasi dengan ahli-ahli lain dalam rangkaian tanpa semua orang mengetahui tentangnya:

Pilihan Editor

Dimensi web untuk Infographics anda - dummies

Dimensi web untuk Infographics anda - dummies

Cabaran untuk menilai infographic untuk web adalah saiz reka bentuk kini sangat berubah , tiada standard untuk bercakap. "Reka bentuk responsif" yang dibawa dengan kemunculan HTML5 mengubah landskap reka bentuk web secara kekal. Tidak seperti grafik yang dicetak, di mana setiap orang yang melihatnya mengalaminya dalam saiz yang sama, ...

Pilihan Editor

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Komuniti mempunyai tindak balas yang positif, negatif, atau neutral kepada anda dan jenama anda boleh membantu anda menentukan bagaimana untuk terus mengendalikan pendekatan penglibatan media sosial anda. Bagaimana anda mengukur pesaing dalam minda penonton dalam talian anda adalah satu lagi faktor penting untuk dinilai. Anda juga boleh memanfaatkan ...

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Tidak ada yang salah dengan menjangkau para blogger, penulis, dan ahli komuniti dalam talian lain dan bertanya kepada mereka jika mereka berminat untuk menyemak jenama atau komuniti anda. Perbezaan antara penginjilan jenama dan melakukan kajian semula adalah bahawa penginjil jenama tidak mengkaji: Mereka mempromosikan, dan mereka diberi pampasan sebagai pertukaran untuk promosi mereka. Penilai, di ...

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Untuk cara percikan untuk dilihat blog atau laman web, pertimbangkan menaja laman web ini. Penajaan untuk blog popular telah mendapat banyak perhatian dalam blogosphere. Sesetengah blogger menyeru menerima tajaan "menjual keluar," tetapi yang lain menganggapnya sebagai cara terbaik untuk mendapatkan bayaran untuk melakukan apa yang mereka suka. Penajaan cenderung kepada ...