Rumah Kewangan Peribadi Zookeeper dan HBase Reliability - dummies

Zookeeper dan HBase Reliability - dummies

Video: Hadoop Rack Awareness 2025

Video: Hadoop Rack Awareness 2025
Anonim

Zookeeper adalah kumpulan pelayan tersebar yang secara kolektif menyediakan perkhidmatan koordinasi dan penyegerakan yang boleh dipercayai untuk aplikasi berkelompok. Diakui, nama "Zookeeper" mungkin kelihatan pada mulanya menjadi pilihan yang ganjil, tetapi apabila anda memahami apa yang dilakukannya untuk kelompok HBase, anda dapat melihat logika di belakangnya. Apabila anda membina dan menyebarkan aplikasi yang diedarkan "ia adalah zoo di luar sana," jadi anda perlu meletakkan Zookeeper pada pasukan anda.

Kelompok HBase boleh menjadi besar dan menyelaraskan operasi MasterServers, RegionServers, dan pelanggan boleh menjadi tugas yang menakutkan, tetapi di sinilah Zookeeper memasuki gambar. Seperti dalam HBase, kluster Zookeeper lazimnya dijalankan pada pelayan komoditi murah x86.

Setiap pelayan x86 individu menjalankan satu proses perisian Zookeeper tunggal (selepas ini dirujuk sebagai pelayan Zookeeper), dengan satu pelayan Zookeeper yang dipilih oleh ensemble sebagai pemimpin dan seluruh pelayan adalah pengikut. Konvoi zookeeper dikawal oleh prinsip kuorum majoriti.

Konfigurasi dengan satu pelayan Zookeeper disokong untuk tujuan ujian dan pembangunan, tetapi jika anda menginginkan kelompok yang boleh dipercayai yang boleh mentolerir kegagalan pelayan, anda perlu menggunakan sekurang-kurangnya tiga pelayan Zookeeper untuk mencapai kuorum majoriti.

Jadi, berapa banyak pelayan Zookeeper yang anda perlukan? Lima adalah minimum yang disyorkan untuk penggunaan pengeluaran, tetapi anda benar-benar tidak mahu pergi dengan minimum yang terdedah. Apabila anda membuat keputusan untuk merancang ensemble Zookeeper anda, ikuti formula mudah ini: 2F + 1 = N di mana F adalah kegagalan yang boleh diterima dalam kumpulan Zookeeper anda dan N adalah jumlah pelayan Zookeeper yang anda mesti gunakan.

Lima disyorkan kerana satu pelayan boleh dimatikan untuk penyelenggaraan tetapi kelompok Zookeeper masih boleh mentolerir kegagalan pelayan.

Zookeeper menyediakan koordinasi dan penyegerakan dengan panggilan yang znodes , yang dibentangkan sebagai pokok direktori dan menyerupai nama laluan fail yang anda lihat dalam sistem fail Unix. Znodes lakukan data menyimpan tetapi tidak banyak yang boleh dibicarakan - kini kurang daripada 1 MB secara lalai.

Idea di sini ialah Zookeeper menyimpan znodes dalam ingatan dan bahawa znodes berasaskan memori ini memberikan akses klien yang cepat untuk koordinasi, status, dan fungsi penting lain yang diperlukan oleh aplikasi yang diedarkan seperti HBase. Zookeeper mereplikasi znodes merentasi ensemble supaya jika pelayan gagal, data znode masih tersedia selagi kuorum majoriti pelayan masih berjalan dan berjalan.

Satu lagi konsep Zookeeper utama yang berkaitan dengan bagaimana znode dibaca (versus writes) dikendalikan. Mana-mana pelayan Zookeeper boleh mengendalikan bacaan dari klien, termasuk pemimpin, tetapi hanya isu pemimpin yang menulis atom znode - menulis bahawa sama ada berjaya sepenuhnya atau gagal sepenuhnya.

Apabila permintaan menulis znode tiba di node pemimpin, pemimpin menyiarkan permintaan menulis kepada node pengikut dan kemudian menunggu majoriti pengikut mengakui menulis znode lengkap. Selepas pengakuan, pemimpin mengeluarkan znode menulis sendiri dan kemudian melaporkan status penyelesaian yang berjaya kepada klien.

Znodes menyediakan beberapa jaminan yang sangat berkuasa. Apabila klien Zookeeper (seperti HBase RegionServer) menulis atau membaca znode, operasi itu atom . Ia sama ada berjaya sepenuhnya atau gagal sepenuhnya - tidak ada bacaan atau menulis separa.

Tiada pelanggan lain yang bersaing boleh menyebabkan operasi membaca atau menulis gagal. Di samping itu, znode mempunyai senarai kawalan akses (ACL) yang dikaitkan dengannya untuk keselamatan, dan ia menyokong versi, cap waktu dan pemberitahuan kepada pelanggan apabila ia berubah.

Zookeeper mereplikasi znodes merentasi ensemble supaya jika pelayan gagal, data znode masih tersedia selagi kuorum majoriti pelayan masih berjalan dan berjalan. Ini bermakna yang menulis ke mana-mana znode dari mana-mana pelayan Zookeeper mesti disebarkan di seluruh ensemble. Pemimpin Zookeeper menguruskan operasi ini.

Pendekatan menulis znode ini boleh menyebabkan pengikut jatuh di belakang pemimpin untuk tempoh yang singkat. Zookeeper menyelesaikan masalah yang berpotensi ini dengan memberikan arahan penyegerakan. Pelanggan yang tidak boleh bertolak ansur dengan kekurangan penyegerakan sementara ini dalam kelompok Zookeeper mungkin memutuskan untuk mengeluarkan perintah penyegerakan sebelum membaca znodes.

Zookeeper dan HBase Reliability - dummies

Pilihan Editor

Bagaimana Mengenali Ulasan Blog Spam - dummies

Bagaimana Mengenali Ulasan Blog Spam - dummies

Spam! Di mana-mana, bersembunyi di dalam peti masuk e-mel anda, menunggu untuk menerkam pada klik yang tidak disyaki. Ia juga digantung di blog anda, bersembunyi di dalam komen - anda mungkin tidak akan melepaskannya! Mujurlah, anda boleh memperlahankan aliran mesej spam dan juga menyekat sebahagian besar daripada muncul di blog anda. Kali pertama ...

Cara Daftar Domain Blog Anda dengan Web Host - dummies

Cara Daftar Domain Blog Anda dengan Web Host - dummies

Mendaftarkan domain blog proses mudah. Pertama, gunakan pendaftar domain untuk membeli nama anda. Selepas anda memiliki nama itu, anda hanya perlu menunjukkan domain baru anda di host web anda. Proses ini pada asasnya melibatkan memberitahu pendaftar domain anda yang pelayan web tapak web anda dihidupkan; syarikat hosting atau domain web anda ...

Bagaimana Menanggapi Tuduhan Penapisan dalam Komuniti Dalam Talian Anda - para pemilik

Bagaimana Menanggapi Tuduhan Penapisan dalam Komuniti Dalam Talian Anda - para pemilik

Setiap komuniti mempunyai hak untuk membuat dan menguatkuasakan peraturan yang mereka mahukan. Ia bukan penapisan untuk menghilangkan pautan atau komentar spam yang menggunakan kata-kata tidak senonoh atau kasar; ia menghormati seluruh komuniti serta mereka yang menjadi tuan rumah masyarakat. Anda tidak menyekat idea atau bahkan pemikiran ...

Pilihan Editor

Bagaimana Membuat Pembina di Python - dummies

Bagaimana Membuat Pembina di Python - dummies

Pembina adalah jenis khas kaedah yang dipanggil Python ia menamakan objek dengan menggunakan definisi yang terdapat dalam kelas anda. Python bergantung kepada pembina untuk melaksanakan tugas seperti memulakan (memberikan nilai kepada) sebarang pemboleh ubah contoh yang diperlukan oleh objek semasa ia bermula. Pembina juga boleh mengesahkan bahawa terdapat ...

Cara Membuat dan Menggunakan Kamus dalam Python - dummies

Cara Membuat dan Menggunakan Kamus dalam Python - dummies

Dengan Python, mencipta dan menggunakan kamus Sama seperti bekerja dengan senarai, kecuali anda kini perlu menentukan pasangan kunci dan nilai. Berikut adalah peraturan khas untuk membuat kunci: Kunci mestilah unik. Apabila anda memasukkan kekunci pendua, maklumat yang terdapat dalam entri kedua akan menang - ...

Pilihan Editor

Mengenali Momen Terbaik Kehidupan Anda untuk Mencapai Aliran dan Kebahagiaan - mimpi

Mengenali Momen Terbaik Kehidupan Anda untuk Mencapai Aliran dan Kebahagiaan - mimpi

Kebahagiaan mengenai detik-detik yang tidak dapat dilupakan dalam kehidupan. Oleh itu, jika anda diminta mengenal pasti sepuluh momen terbaik dalam hidup anda, bolehkah anda melakukannya? Jika sukar untuk anda, itu kerana anda tidak mempunyai banyak "momen terbaik" atau kerana sudah lama sejak anda mempunyai satu yang anda tidak boleh ...

Mencari penyelesaian Win-Win untuk menjadi bahagia di tempat kerja - dummies

Mencari penyelesaian Win-Win untuk menjadi bahagia di tempat kerja - dummies

Orang bahagia akan cuba mencari penyelesaian menang-menang di tempat kerja. Semua jenis kerja tidak dapat dielakkan melibatkan konflik. Mengapa? Kerana orang yang bekerja bersama satu sama lain sama ada berusaha untuk mencapai matlamat yang sama - pengiktirafan dan kemajuan - atau mereka mempunyai pandangan yang berbeza tentang bagaimana perkara harus dilakukan di tempat kerja. Yang ...

Hubungan Meningkatkan Kualiti Keseluruhan Kehidupan - makmies

Hubungan Meningkatkan Kualiti Keseluruhan Kehidupan - makmies

Dalam hubungan yang sihat, kualiti keseluruhan hidup anda bertambah baik . Anda berkembang sebagai orang kerana pasangan anda dalam hubungan memberikan anda sokongan yang anda perlukan untuk mengambil lebih banyak risiko dan menghadapi lebih banyak cabaran. Hubungan yang sihat membantu anda merasakan baik diri anda, orang lain, dan kehidupan anda. Ia membolehkan anda kebebasan ...