Video: Distributed TensorFlow (TensorFlow Dev Summit 2017) 2024
Hadoop Sistem Fail yang Diagihkan (HDFS) direka untuk menyimpan data pada perkakasan yang tidak mahal dan tidak boleh dipercayai lagi. Murah mempunyai cincin menarik untuknya, tetapi ia menimbulkan kebimbangan mengenai kebolehpercayaan sistem secara keseluruhannya, terutamanya untuk memastikan ketersediaan data yang tinggi.
Perancangan ke hadapan untuk bencana, otak di belakang HDFS membuat keputusan untuk menubuhkan sistem supaya ia menyimpan tiga salinan (tiga salinan) setiap blok data.
HDFS menganggap bahawa setiap pemacu cakera dan setiap nod hamba tidak boleh dipercayai, jadi, dengan jelas, perhatian mesti diambil dalam memilih di mana tiga salinan blok data disimpan.
Angka ini menunjukkan bagaimana blok data dari fail terdahulu bergaris merentasi kluster Hadoop - yang bermaksud mereka diedarkan sama rata antara nod hamba supaya satu salinan blok tetap akan tersedia tanpa mengira cakera, nod, atau kegagalan rak.
Fail yang ditunjukkan mempunyai lima blok data, berlabel a, b, c, d, dan e. Sekiranya anda melihat lebih dekat, anda dapat melihat kumpulan ini terdiri daripada dua rak dengan dua nod masing-masing, dan tiga salinan setiap blok data telah tersebar di pelbagai nod hamba.
Setiap komponen dalam cluster Hadoop dilihat sebagai titik kegagalan potensi, jadi apabila HDFS menyimpan replika blok asal di seluruh cluster Hadoop, ia cuba memastikan bahawa replika blok disimpan dalam titik kegagalan yang berbeza.
Sebagai contoh, lihat Blok A. Pada masa yang diperlukan untuk disimpan, Slave Node 3 dipilih, dan salinan pertama Blok A disimpan di sana. Untuk pelbagai sistem rak, HDFS kemudian menentukan bahawa baki dua salinan blok A perlu disimpan dalam rak yang berbeza. Jadi salinan kedua blok A disimpan di Slave Node 1.
Salinan akhir dapat disimpan pada rak yang sama dengan salinan kedua, tetapi tidak pada simpul hamba yang sama, sehingga disimpan di Slave Node 2.
