Video: hadoop yarn architecture 2024
YARN, bagi mereka yang baru tiba di parti ini, merujuk kepada Satu Lagi Sumber Daya Negosiator, alat yang membolehkan rangka kerja pemprosesan data lain dijalankan di Hadoop. Kemuliaan YARN adalah bahawa ia membentangkan Hadoop dengan penyelesaian yang elegan untuk beberapa cabaran masa kini.
YARN bertujuan untuk menyediakan penjadualan beban kerja yang lebih cekap dan fleksibel serta kemudahan pengurusan sumber, yang keduanya akan membolehkan Hadoop menjalankan lebih daripada sekadar MapReduce pekerjaan.
Angka tersebut menunjukkan secara umum bagaimana YARN sesuai dengan Hadoop dan juga menjelaskan bagaimana ia telah membolehkan Hadoop menjadi platform tujuan umum untuk pemprosesan data. Senarai berikut memberikan lirik ke melodi:
-
Penyimpanan tersebar: Tidak ada yang berubah di sini dengan perubahan dari MapReduce ke YARN - HDFS masih merupakan lapisan penyimpanan untuk Hadoop.
-
Pengurusan sumber: Konsep asas utama dalam pergeseran ke YARN dari Hadoop 1 adalah memecahkan pengurusan sumber dari pemprosesan data. Ini membolehkan YARN menyediakan sumber kepada sebarang rangka kerja pemprosesan yang ditulis untuk Hadoop, termasuk MapReduce.
-
Rangka pemprosesan: Oleh kerana YARN adalah kemudahan pengurusan sumber umum, ia dapat memperuntukkan sumber daya cluster kepada sebarang kerangka pemprosesan data yang ditulis untuk Hadoop. Kerangka pemprosesan kemudian menangani masalah runtime aplikasi.
Untuk mengekalkan keserasian untuk semua kod yang dibangunkan untuk Hadoop 1, MapReduce berfungsi sebagai rangka kerja pertama yang boleh digunakan untuk YARN. Pada masa penulisan ini, projek Apache Tez adalah projek inkubator dalam pembangunan sebagai rangka kerja alternatif untuk pelaksanaan aplikasi Pig dan Hive. Tez mungkin akan muncul sebagai konfigurasi standard Hadoop.
-
Antaramuka Pemrograman Aplikasi (API): Dengan sokongan untuk rangka kerja pemprosesan tambahan, sokongan untuk API tambahan akan datang. Pada masa penulisan ini, Hoya (untuk menjalankan HBase pada YARN), Apache Giraph (untuk pemprosesan graf), Open MPI (untuk mesej yang lulus dalam sistem selari), Apache Storm (untuk pemprosesan aliran data) sedang dalam pembangunan aktif.
