Apa Hadoop? - dummies

Hadoop adalah alat pemprosesan data sumber terbuka yang dibangunkan oleh Yayasan Perisian Apache. Hadoop kini menjadi program untuk mengendalikan jumlah besar dan pelbagai data kerana ia direka bentuk untuk membuat pengkomputeran berskala besar lebih murah dan fleksibel. Dengan kedatangan Hadoop, pemprosesan data massa telah diperkenalkan kepada lebih ramai orang dan lebih banyak organisasi.

Hadoop boleh menawarkan penyelesaian hebat untuk mengendalikan, memproses, dan menggabungkan aliran jisim data terstruktur, separuh berstruktur, dan tidak berstruktur. Dengan menyediakan dan menggunakan Hadoop, anda akan mendapat cara yang agak berpatutan untuk mula menggunakan dan menarik pandangan dari semua data organisasi anda, dan bukan hanya terus bergantung pada dataset transaksional yang anda duduk di gudang data lama di suatu tempat.

Hadoop adalah salah satu program yang paling popular untuk keperluan pengkomputeran berskala besar. Hadoop menyediakan lapisan peta dan pengurangan yang mampu mengendalikan keperluan pemprosesan data bagi kebanyakan projek data besar.

Kadang-kadang data menjadi terlalu besar dan cepat walaupun Hadoop dapat dikendalikan. Dalam kes ini, organisasi beralih kepada alternatif, lebih-disesuaikan MapReduce deployments sebaliknya.

Hadoop menggunakan kluster perkakasan komoditi untuk menyimpan data. Perkakasan dalam setiap cluster disambungkan, dan perkakasan ini terdiri daripada pelayan komoditi - pelayan generik murah, murah yang menawarkan keupayaan pengkomputeran yang berkuasa apabila dijalankan secara selari ke seluruh kelompok kongsi. Pelayan komoditi ini juga dipanggil nod . Pengkomposan yang dikomputasi secara mendadak mengurangkan kos yang terlibat dalam pengendalian dan menyimpan data besar.

Hadoop terdiri daripada dua komponen berikut:

• Rangka kerja pemprosesan diedarkan: Hadoop menggunakan Hadoop MapReduce sebagai kerangka pemprosesannya yang diedarkan. Sekali lagi, satu rangka kerja pemprosesan yang diedarkan adalah kerangka yang kuat di mana tugas-tugas pemprosesan diedarkan di seluruh kelompok nod sehingga jumlah data yang besar dapat diproses dengan cepat di seluruh sistem secara keseluruhan.

• Sistem fail yang diedarkan: Hadoop menggunakan Sistem Fail Teragih Hadoop (HDFS) sebagai sistem failnya yang diedarkan.

Beban kerja aplikasi yang berjalan di Hadoop dibahagikan di antara node cluster Hadoop, dan kemudian output disimpan di HDFS. Kelompok Hadoop dapat terdiri dari ribuan node. Untuk memastikan kos input / output (I / O) rendah, Hadoop MapReduce jobs dilakukan hampir dengan data yang mungkin.

Ini bermakna bahawa mengurangkan pemproses tugas adalah diletakkan sedekat mungkin ke data tugas peta keluar yang perlu diproses. Reka bentuk ini memudahkan perkongsian keperluan pengiraan dalam pemprosesan data yang besar.

Hadoop juga menyokong organisasi hierarki. Beberapa nodnya dikelaskan sebagai nod induk, dan yang lain dikategorikan sebagai budak. Perkhidmatan induk, dikenali sebagai JobTracker , direka untuk mengawal beberapa perkhidmatan budak. Perkhidmatan hamba (juga dipanggil TaskTrackers ) diedarkan kepada setiap nod. JobTracker mengawal TaskTrackers dan menyerahkan tugas Hadoop MapReduce kepada mereka.

Dalam versi baru Hadoop, dikenali sebagai Hadoop 2, seorang pengurus sumber bernama Hadoop YARN telah ditambahkan. Berkenaan dengan MapReduce di Hadoop, YARN bertindak sebagai sistem bersepadu yang melaksanakan fungsi pengurusan dan penjadualan sumber.

Hadoop memproses data dalam batch. Akibatnya, jika anda bekerja dengan data masa nyata, streaming, anda tidak akan dapat menggunakan Hadoop untuk menangani masalah data besar anda. Ini berkata, ia sangat berguna untuk menyelesaikan banyak masalah data besar lain.