Video: Hadoop Tutorial For Beginners | Hadoop Ecosystem Explained in 20 min! - Frank Kane 2024
Hadoop lebih daripada MapReduce dan HDFS (Hadoop Sistem Fail Teragih): Ia juga merupakan keluarga projek-projek yang berkaitan (ekosistem, benar-benar) untuk pengkomputeran diedarkan dan berskala besar pemprosesan data. Kebanyakan (tetapi tidak semua) projek-projek ini dihoskan oleh Yayasan Perisian Apache. Jadual ini menyenaraikan beberapa projek ini.
Projek Hadoop yang Berkaitan
Nama Projek
Deskripsi
Ambari
Satu set alat pentadbiran Hadoop bersepadu untuk memasang, memantau, dan mengekalkan kluster Hadoop. Juga
termasuk alat untuk menambah atau mengalihkan nod hamba.
Avro
Rangka kerja bagi penyegerakan yang efisien (jenis
transformasi) data ke dalam format perduaan padat
Flume
Perkhidmatan aliran data untuk pergerakan jumlah log yang besar > data ke Hadoop
HBase
Pangkalan data kolumnar yang diedarkan yang menggunakan HDFS untuk penyimpanannya
. Dengan HBase, anda boleh menyimpan data dalam sangat
jadual besar dengan struktur lajur yang berubah-ubah.
HCatalog
Perkhidmatan untuk menyediakan pandangan hubungan data yang disimpan dalam
Hadoop, termasuk pendekatan standard untuk data jadual
Hive
Gudang data yang diedarkan untuk data yang disimpan dalam HDFS;
juga menyediakan bahasa pertanyaan yang berasaskan SQL
(HiveQL)
Hue
Antara muka pentadbiran Hadoop dengan alat GUI berguna untuk fail melayari
, mengeluarkan pertanyaan Hive dan Pig, dan membangunkan Oozie < Mahout
Sebuah perpustakaan algoritma statistik pembelajaran mesin yang
dilaksanakan di MapReduce dan boleh dijalankan secara asli pada Hadoop
Oozie
Alat pengurusan alur kerja yang boleh mengendalikan penjadualan dan > menggabungkan bersama aplikasi Hadoop
Babi
Platform untuk analisis set data yang sangat besar yang berjalan
di HDFS dan dengan lapisan infrastruktur yang terdiri daripada pengkompil
yang menghasilkan urutan peta MapReduce dan lapisan bahasa
yang terdiri daripada bahasa pertanyaan bernama Pig Latin
Sqoop
Alat untuk memindahkan sejumlah besar data antara
pangkalan data relasi dan HDFS
ZooKeeper
Antara muka yang mudah untuk berpusat koordinasi perkhidmatan
(seperti penamaan, konfigurasi, dan penyelarasan) kami ed oleh
aplikasi yang diedarkan
Ekosistem Hadoop dan pengedaran komersilnya terus berkembang, dengan teknologi dan alat baru dan lebih baik muncul sepanjang masa.
Angka ini menunjukkan pelbagai projek ekosistem Hadoop dan bagaimana ia berkaitan dengan satu sama lain:
Jika anda telah memulakan jejak sosial metrik media dan menikmati kurniaan data yang kini dapat dilihat, dihidupkan, dan digunakan, anda mungkin tertanya-tanya apa yang mungkin menyebabkan kemurungan! Mudah: kehilangan data. Katakanlah bahawa anda mempunyai masalah tapak atau entah bagaimana kehilangan akses ke tapak atau data anda. Adakah anda mempunyai sandaran anda ...
Mana-mana kempen baru, laman web, akaun Twitter, halaman Facebook, atau item lain yang anda ingin ukur dengan metrik media sosial bermula pada sifar. Nombor ini boleh membuat anda merasa seperti anda bercakap dengan tidak sah, bercakap dengan diri anda atau anda tersembunyi dari pandangan. Perasaan ini boleh membawa kepada pengasingan secara keseluruhan ...
Anda sentiasa dapat mencari orang yang ingin menyimpang dari lurus dan sempit. Ya, mereka adalah orang bodoh yang terlibat dalam taktik pengoptimuman berisiko yang bertujuan untuk menggerakkan PageRank secara artifisial, memanipulasi pesanan halaman hasil carian di Google, dan mendapatkan kelebihan yang tidak adil dalam indeks. Google, dengan reputasi yang luar biasa untuk melindungi, ...
Di laman web anda memberikan wawasan yang penting. Anda boleh memikirkan sama ada pengunjung sedang melihat cepat, kemudian pergi, atau sama ada mereka bertahan lebih lama dan sebenarnya membaca bahan dalam talian anda dengan tujuan untuk mengambil tindakan. Jika majoriti pelawat laman web anda tidak ...
Laman web perniagaan sangat mirip dengan merancang kedai dengan pemasaran produk dalam fikiran. Malah, laman web anda benar-benar adalah kedai - kedai maya di Internet. Rangkaian kedai runcit telah menghabiskan berjuta-juta dolar dalam penyelidikan pasaran, menonton dan mendokumentasikan bagaimana pembeli memasuki kedai, belok kanan atau kiri, dan ...
Melakukan analisis laman web tidak perlu meletihkan dan intensif masa. Anda boleh meringkaskan prestasi keseluruhan laman web anda dengan cepat - jika anda tahu apa yang perlu dicari. Alat analisis web percuma dan kos rendah boleh membantu anda mengukur kejayaan laman web anda, dan anda boleh menjana perujuk tapak dengan pelbagai cara yang tidak mungkin ...
Terlalu terhad, anda boleh membuat penggunaan kreatif beberapa teknologi di luar sana untuk memaksimumkan antara muka anda. Untuk setiap teknik berikut yang diterangkan, terdapat banyak laman web yang menawarkan sampel kod, forum, dan sumber untuk membantu anda memulakan. Accordions. Antara muka akordion membolehkan ...
Mencipta kesan mudah untuk laman CSS3 menggunakan gradien mudah . Walau bagaimanapun, mewujudkan sesuatu yang benar-benar hebat memerlukan masa dan keupayaan artistik. Kebanyakan pemaju benar-benar tidak mempunyai masa atau kemahiran yang diperlukan untuk mencipta sesuatu yang mempesonakan menggunakan CSS3 sahaja (atau CSS3 digabungkan dengan grafik) - di sinilah pereka bermain. Ramai pereka yang membolehkan anda ...
Terdapat banyak pelayar dan versi pelayar yang berbeza gunakan hari ini. Tidak semua daripada mereka adalah optimum untuk CSS3. Inilah tempat Modernizr dimainkan. Pemajunya menyebutnya "perpustakaan JavaScript yang mengesan ciri HTML5 dan CSS3 dalam pelayar pengguna. "Anda menggunakan Modernizr untuk melaksanakan tugas secara pilihan dan memasukkan ciri aplikasi berdasarkan ...