Didistribusikan untuk Big Data - dummies

Jika syarikat anda mempertimbangkan projek data besar, penting bagi anda memahami beberapa asas pengkomputeran yang diedarkan pertama. Tidak ada satu model pengkomputeran yang diedarkan kerana sumber pengkomputeran dapat diedarkan dalam banyak cara.

Sebagai contoh, anda boleh mengedarkan satu set program pada pelayan fizikal yang sama dan menggunakan perkhidmatan pemesejan untuk membolehkan mereka berkomunikasi dan menyampaikan maklumat. Ia juga mungkin mempunyai banyak sistem atau pelayan yang berbeza, masing-masing dengan ingatannya sendiri, yang dapat berfungsi bersama untuk menyelesaikan satu masalah.

Mengapa pengkomputeran diedarkan diperlukan untuk data besar

Tidak semua masalah memerlukan pengkomputeran yang diedarkan. Sekiranya kekangan masa yang besar tidak wujud, pemprosesan yang kompleks boleh dilakukan melalui perkhidmatan khusus dari jauh. Apabila syarikat perlu melakukan analisis data yang rumit, IT akan memindahkan data ke perkhidmatan atau entiti luaran di mana terdapat banyak sumber ganti untuk diproses.

Bukanlah syarikat mahu menunggu untuk mendapatkan hasil yang mereka perlukan; ia tidak dapat dilaksanakan secara ekonomi untuk membeli sumber-sumber pengkomputeran yang mencukupi untuk mengatasi keperluan-keperluan baru ini. Dalam banyak situasi, organisasi akan menangkap hanya pilihan data dan bukan cuba untuk menangkap semua data kerana kos. Penganalisis mahu semua data tetapi terpaksa menyelesaikan gambar, dengan harapan dapat menangkap data yang betul pada masa yang tepat.

Kejayaan utama perkakasan dan perisian merevolusi industri pengurusan data. Pertama, inovasi dan permintaan meningkatkan kuasa dan menurunkan harga perkakasan. Perisian baru muncul yang memahami cara memanfaatkan perkakasan ini dengan mengotomatisasi proses seperti mengimbangi beban dan pengoptimuman merentas kumpulan besar nod.

Perisian ini termasuk peraturan terbina dalam yang memahami bahawa beban kerja tertentu memerlukan tahap prestasi tertentu. Perisian merawat semua nod seolah-olah mereka hanyalah satu kumpulan besar pengkomputeran, penyimpanan, dan aset rangkaian, dan memindahkan proses ke nod lain tanpa gangguan jika nod gagal, menggunakan teknologi virtualisasi.

Perubahan ekonomi pengkomputeran dan data besar

Fast-forward dan banyak telah berubah. Sejak beberapa tahun yang lalu, kos untuk membeli sumber pengkomputeran dan simpanan telah menurun secara mendadak. Dengan bantuan virtualisasi, pelayan komoditi yang boleh dikelompokkan dan bilah yang boleh dijaringkan dalam rak mengubah ekonomi pengkomputeran. Perubahan ini bertepatan dengan inovasi dalam penyelesaian automasi perisian yang secara dramatik meningkatkan pengurusan sistem-sistem ini.

Keupayaan untuk memanfaatkan pengkomputeran yang diedarkan dan teknik pemprosesan yang selari secara dramatik mengubah landskap dan secara dramatik mengurangkan latensi. Terdapat kes-kes khas, seperti High Frequency Trading (HFT), di mana latensi rendah hanya boleh dicapai dengan mencari pelayan secara fizikal di satu lokasi.

Masalah dengan kependaman untuk data besar

Salah satu masalah abadi dengan menguruskan data - terutamanya kuantiti data yang besar - telah menjadi kesan latensi. Latency adalah kelewatan dalam sistem berdasarkan kelewatan pelaksanaan tugas. Latensi adalah masalah dalam setiap aspek pengkomputeran, termasuk komunikasi, pengurusan data, prestasi sistem, dan banyak lagi.

Jika anda pernah menggunakan telefon wayarles, anda telah mengalami latency secara langsung. Ia adalah kelewatan dalam penghantaran antara anda dan pemanggil anda. Kadang kala, kependaman mempunyai sedikit impak terhadap kepuasan pelanggan, seperti jika syarikat perlu menganalisis hasil di belakang tabir untuk merancang pembebasan produk baru. Ini mungkin tidak memerlukan tindak balas atau akses segera.

Bagaimanapun, sambutan yang lebih dekat kepada pelanggan pada masa keputusan, lebih banyak masalah latensi itu.

Pengkomputeran pengkomputeran dan teknik pemprosesan selari boleh membuat perbezaan yang ketara dalam latensi yang dialami oleh pelanggan, pembekal, dan rakan kongsi. Banyak aplikasi data besar bergantung kepada latensi rendah kerana keperluan data besar untuk kelajuan dan jumlah dan pelbagai data.

Mungkin tidak mungkin untuk membina aplikasi data besar dalam persekitaran latency yang tinggi jika prestasi tinggi diperlukan. Keperluan untuk mengesahkan data dalam masa nyata masa nyata juga boleh dipengaruhi oleh kependaman. Apabila anda berurusan dengan data masa nyata, tahap latensi yang tinggi bermakna perbezaan antara kejayaan dan kegagalan.

Permintaan data besar memenuhi penyelesaian

Pertumbuhan Internet sebagai platform untuk segala-galanya dari perdagangan menjadi ubat mengubah permintaan untuk generasi baru pengurusan data. Pada akhir 1990-an, syarikat enjin dan Internet seperti Google, Yahoo!, dan Amazon. com dapat mengembangkan model perniagaan mereka, memanfaatkan perkakasan murah untuk pengkomputeran dan penyimpanan.

Seterusnya, syarikat-syarikat ini memerlukan generasi baru teknologi perisian yang membolehkan mereka mengewangkan sejumlah besar data yang mereka ambil dari pelanggan. Syarikat-syarikat ini tidak dapat menunggu hasil pemprosesan analitik. Mereka memerlukan keupayaan untuk memproses dan menganalisis data ini dalam waktu dekat.