Video: [REVIEW BUKU] DATA MINING DAN BIG DATA ANALYTICS - Indonesia 2024
Search engine innovators seperti Yahoo! dan Google menghadapi masalah data rawa. Mereka perlu mencari jalan untuk memahami jumlah besar data yang dikumpulkan oleh enjin mereka. Syarikat-syarikat ini perlu memahami apa maklumat yang mereka kumpulkan dan bagaimana mereka dapat mengewangkan data tersebut untuk menyokong model perniagaan mereka.
Hadoop telah dibangunkan kerana ia mewakili cara yang paling pragmatik untuk membolehkan syarikat menguruskan jumlah besar data dengan mudah. Hadoop membenarkan masalah besar dipecah menjadi unsur yang lebih kecil supaya analisis dapat dilakukan dengan cepat dan kos efektif.
Dengan memecahkan masalah data besar ke dalam kepingan kecil yang boleh diproses secara selari, anda boleh memproses maklumat dan mengumpul kembali kepingan kecil untuk menghasilkan hasil.
Hadoop pada asalnya dibina oleh Yahoo! jurutera bernama Doug Cutting dan kini merupakan projek sumber terbuka yang diuruskan oleh Yayasan Perisian Apache. Ia disediakan di bawah Lesen Apache v2. 0.
Hadoop adalah blok bangunan asas dalam keinginan kami untuk menangkap dan memproses data besar. Hadoop direka untuk menyeragamkan pemprosesan data merentasi nod komputer untuk mempercepat pengiraan dan menyembunyikan kependaman. Di terasnya, Hadoop mempunyai dua komponen utama:
-
Sistem Fail Hadoop yang Diagihkan: Satu kluster penyimpanan data yang boleh dipercayai, berkelajuan tinggi, kos rendah, yang memudahkan pengurusan fail yang berkaitan di seluruh mesin.
-
MapReduce engine: Prestasi pemprosesan data yang selari / diedarkan dengan baik algoritma MapReduce.
Hadoop direka untuk memproses sejumlah besar data berstruktur dan tidak terstruktur (terabytes kepada petabytes) dan dilaksanakan pada rak pelayan komoditi sebagai cluster Hadoop. Pelayan boleh ditambah atau dikeluarkan dari kluster secara dinamik kerana Hadoop direka untuk "penyembuhan diri. "Dengan kata lain, Hadoop dapat mengesan perubahan, termasuk kegagalan, dan menyesuaikan diri dengan perubahan tersebut dan terus beroperasi tanpa gangguan.
