Alternatif Borang Penyebaran Faktor untuk Hadoop - dummies

Walaupun Hadoop berfungsi dengan baik apabila ia dipasang pada komputer fizikal, di mana pemprosesan mempunyai akses langsung ke penyimpanan dan rangkaian khusus, Hadoop mempunyai penggunaan alternatif. Dan walaupun mereka kurang cekap daripada perkakasan khusus, dalam beberapa pilihan tertentu adalah pilihan berbaloi.

Server maya

Satu trend utama dalam pusat IT sejak sedekad yang lalu adalah virtualisasi, di mana pelayan besar boleh menjadi tuan rumah beberapa "mesin maya" yang kelihatan dan bertindak seperti mesin tunggal. Di samping perkakasan khusus, sesetengah aplikasi dan repositori organisasi digunakan pada perkakasan maya.

Pendekatan ini mempunyai banyak kelebihan: Pemusatan IT menyederhanakan penyelenggaraan, pelaburan IT dimaksimumkan kerana kitaran CPU yang tidak digunakan, dan tapak perkakasan keseluruhannya lebih rendah, mengakibatkan kos pemilikan keseluruhan yang lebih rendah.

Organisasi di mana penyebaran IT sepenuhnya dim virtualisasi kadang mandat bahawa setiap aplikasi baru mengikuti model ini. Walaupun Hadoop boleh digunakan dengan cara ini, pada dasarnya sebagai kelompok maya (dengan nod master maya dan nod hamba maya), prestasi mengalami, sebahagiannya kerana bagi persekitaran yang paling maya, storan adalah berasaskan SAN dan tidak dipasang secara tempatan.

Oleh kerana Hadoop direka untuk berfungsi dengan baik apabila semua teras CPU yang tersedia dapat mempunyai akses cepat ke cakera berputar bebas, kesesakan dicipta sebagai semua peta dan mengurangkan tugas memulakan data pemprosesan melalui rangkaian terbatas antara CPU dan SAN. Oleh kerana tahap pengasingan antara sumber pelayan virtual terhad (pelayan maya berkongsi sumber antara satu sama lain), Beban kerja Hadoop juga boleh dipengaruhi oleh aktiviti lain.

Apabila prestasi pelayan maya anda dipengaruhi oleh beban kerja pelayan lain, itu sebenarnya diketahui dalam kalangan IT sebagai masalah "jiran bising"!

Persekitaran maya boleh menjadi sangat berguna, walaupun, dalam beberapa kes. Contohnya, jika organisasi anda perlu melengkapkan analisis eksplorasi satu set set data yang besar, anda boleh mencipta kumpulan sementara dalam persekitaran maya anda dengan mudah. Kaedah ini sering merupakan cara yang lebih cepat untuk mendapatkan kelulusan dalaman daripada untuk menanggung kerumitan birokrasi mendapatkan perkakasan berdedikasi baru.

Semasa anda bereksperimen dengan Hadoop, anda sering menjalankannya di mesin komputer riba anda melalui mesin maya (VM). Hadoop sangat lambat dalam persekitaran semacam ini, tetapi jika anda menggunakan set data kecil, itu alat pembelajaran dan ujian yang berharga.

Penyebaran awan

Perubahan persekitaran maya ialah penyedia pengkomputeran awan seperti Amazon, Rackspace, dan IBM SoftLayer. Kebanyakan penyedia awan awam utama kini mempunyai tawaran MapReduce atau Hadoop yang boleh digunakan. Sekali lagi, prestasi mereka lebih rendah daripada menggunakan kluster anda pada perkakasan khusus, tetapi ia bertambah baik.

Penyedia awan membuat persekitaran yang dioptimumkan oleh Hadoop yang tersedia di mana nod budak mempunyai storan dipasang dan rangkaian khusus. Juga, hypervisors menjadi jauh lebih cekap, dengan overhead dan latensi dikurangkan.

Jangan menganggap penyelesaian awan untuk aplikasi jangka panjang, kerana kos menyewa sumber pengkomputeran awan jauh lebih tinggi daripada yang memiliki dan mengekalkan sistem yang setanding. Dengan pembekal awan, anda membayar untuk kemudahan dan kerana dapat mengimbangi overhed perkakasan peruntukan. Walau bagaimanapun, awan itu merupakan platform yang ideal untuk ujian, pendidikan, dan tugas pemprosesan data sekali sahaja.

Selain pertimbangan prestasi dan kos, anda mempunyai pertimbangan pengawalseliaan dengan penyebaran awan awam. Sekiranya anda mempunyai data sensitif, yang mesti disimpan sama ada di dalam rumah atau di dalam negara, penggunaan awan awam bukan pilihan. Dalam kes seperti ini, di mana anda memerlukan kemudahan penggunaan berasaskan awan, awan peribadi adalah pilihan yang baik, jika tersedia.