Video: Hadoop Processing Frameworks 2024
Ketika anda memeriksa elemen Apache Hive yang ditunjukkan, anda dapat melihat di bawah bahwa Hive duduk di atas Sistem File Hadoop Distributed (HDFS) dan sistem MapReduce.
Dalam hal MapReduce, angka-angka itu menunjukkan komponen Hadoop 1 dan Hadoop 2. Dengan Hadoop 1, pertanyaan Hive ditukar kepada kod MapReduce dan dilaksanakan menggunakan infrastruktur MapReduce v1 (MRv1), seperti JobTracker dan TaskTracker.
Dengan Hadoop 2, YARN telah memecahkan pengurusan sumber dan penjadualan dari rangka MapReduce. Pertanyaan sarang masih boleh ditukar kepada kod MapReduce dan dilaksanakan, sekarang dengan MapReduce v2 (MRv2) dan infrastruktur YARN.
Terdapat satu rangka kerja baru dalam pembangunan yang dipanggil Apache Tez, yang direka untuk meningkatkan prestasi sarang bagi pertanyaan gaya kelompok dan menyokong pertanyaan interaktif yang lebih kecil (juga dikenal sebagai real-time ). Pada masa penulisan, projek Apache Tez masih dalam inkubasi, dan belum lagi mempunyai pengeluaran siap sedia.
Jika ia membantu anda memvisualisasikan bagaimana semua keping patut bersama, fikirkan sistem HDFS dan MapReduce sebagai bahagian sistem operasi Apache Hadoop, dengan Hive - serta komponen lain, seperti HBase - sebagai fungsi atau aplikasi peringkat tinggi. (Anda boleh melihat tema yang sama muncul: HDFS menyediakan storan, dan MapReduce menyediakan keupayaan pemprosesan selari untuk fungsi peringkat tinggi dalam ekosistem Hadoop.)
Menggerakkan rajah, anda mencari Pemandu Hive, yang menyusun, mengoptimumkan, dan melaksanakan HiveQL. Pemandu sarang boleh memilih untuk melaksanakan pernyataan HiveQL dan memerintahkan secara tempatan atau menanam kerja MapReduce, bergantung pada tugas di tangan. The Hive Driver menyimpan metadata jadual dalam metastore dan pangkalan datanya.
Anda mungkin mempunyai beberapa kebiasaan dengan SQL dan model pangkalan data hubungan dari dunia RDBMSs. Jadual atau terdiri daripada lajur menegak dan baris mendatar. Sel disimpan di mana baris dan lajur bersilang. Jika anda tidak biasa dengan SQL dan model pangkalan data hubungan, anda boleh mencari sumber pembelajaran yang berguna menggunakan enjin carian kegemaran anda.
Secara lalai, Hive termasuk Apache Derby RDBMS yang dikonfigurasi dengan metastore dalam apa yang dipanggil mod tertanam. Mod terbenam bermaksud bahawa Pemandu Hive, metastore, dan Apache Derby semuanya berjalan dalam satu Mesin Maya Maya (JVM).
Konfigurasi ini baik untuk tujuan pembelajaran, tetapi mod tertanam hanya dapat menyokong satu sesi Hive, sehingga biasanya tidak digunakan dalam persekitaran penghasilan multi-user.Dua mod lain ada - setempat dan jauh - yang boleh menyokong lebih banyak sesi sarang dalam persekitaran pengeluaran. Juga, anda boleh mengkonfigurasi mana-mana RDBMS yang mematuhi Java Interface Programming Application (API) Connectivity Database (JDBC). (Contoh-contoh di sini termasuk MySQL dan DB2.)
Kunci untuk sokongan aplikasi ialah Server Hive Thrift, yang membolehkan kumpulan pelanggan kaya untuk mengakses subsistem Hive. Pelanggan SQuirreL SQL sumber terbuka dimasukkan sebagai contoh. Titik utama ialah sebarang aplikasi yang mematuhi JDBC boleh mengakses Hive melalui pemandu JDBC yang dibundel. Pernyataan yang sama berlaku untuk klien yang mematuhi Konektivitas Pangkalan Data Terbuka (ODBC) - misalnya, unixODBC dan utiliti isql, yang biasanya digabungkan dengan Linux, membolehkan akses ke Hive dari klien Linux jauh.
Selain itu, jika anda menggunakan Microsoft Excel, anda akan senang mengetahui bahawa anda boleh mengakses Hive selepas anda memasang pemacu Microsoft ODBC pada sistem klien anda. Akhirnya, jika anda perlu mengakses Hive dari bahasa pengaturcaraan selain Java (PHP atau Python, sebagai contoh), Apache Thrift adalah jawapannya. Pelanggan Simptom Apache menyambung ke Hive melalui Server Hive Thrift, seperti yang dilakukan oleh pelanggan JDBC dan ODBC.
Untuk meneruskan penulisan seni bina Hive, ambil perhatian bahawa Hive termasuk Antarmuka Barisan Perintah (CLI), di mana anda boleh menggunakan tetingkap terminal Linux untuk mengeluarkan pertanyaan dan arahan pentadbiran secara langsung kepada Pemandu Hive. Jika pendekatan grafis lebih laju, terdapat juga antara muka web yang berguna supaya anda dapat mengakses jadual dan data yang diatur oleh Hive anda melalui penyemak imbas kegemaran anda.
Terdapat satu lagi teknologi pelayar web yang dikenali sebagai Hue yang menyediakan antara muka pengguna grafis (GUI) ke Apache Hive. Sesetengah pengguna Hadoop suka mempunyai GUI pada pelupusan mereka bukan hanya antara muka baris arahan (CLI). Bersama Hive, Hue menyokong teknologi Hadoop utama lain seperti HDFS, MapReduce / YARN, HBase, Zookeeper, Oozie, Babi, dan Sqoop. Anda akan suka nama untuk Apache Hive GUI Hue - ia dipanggil Beeswax.
