Google Dremel dan Hadoop - dummies

Bagi kebanyakan orang, istilah Dremel mengingatkan alat berkuasa tinggi, rendah tork yang berfungsi dengan baik untuk pelbagai pekerjaan di sekitar rumah. Tetapi adakah anda tahu bahawa Google mencipta Dremel? Daripada mengeluarkan alat lain alat tangan, namun, Google memilih alat perisian cepat yang dimaksudkan untuk analisis interaktif data besar. Seperti halnya dengan teknologi Google lain yang mengilhami sebahagian dari ekosistem Hadoop, seperti MapReduce, Sistem Fail Google (HDFS), dan BigTable (lihat HBase), Google mengembangkan Dremel untuk digunakan secara internal dan kemudian menerbitkan sebuah kertas yang menggambarkan tujuan dan reka bentuk daripada teknologi. (Dengan kata lain, Dremel bukan sesuatu yang anda boleh muat turun dan gunakan pada kumpulan Hadoop anda.)

Google menggunakan Dremel untuk pelbagai pekerjaan, termasuk menganalisis dokumen web yang merangkak, mengesan spam e-mel, bekerja melalui laporan kemalangan aplikasi dan banyak lagi. Perkhidmatan BigQuery Google sebenarnya menggunakan Dremel.

Google direka PetaReduce teknologi untuk pemprosesan batch melalui set data besar-besaran. Memandangkan keperluan mereka berkembang, begitu pula teknologi mereka, dan Google memutuskan untuk membuat Dremel untuk meningkatkan prestasi untuk pertanyaan interaktif terhadap set data besar.

Pendekatan MapReduce menyediakan skalabilitas dan permintaan toleransi kesalahan, tetapi ia pada asasnya sistem berasaskan batch, jadi masa tindak balas untuk pertanyaan yang lebih kecil (pertanyaan yang hanya melibatkan sebahagian kecil daripada satu set data keseluruhan) selalunya tidak apa yang diharapkan oleh pengguna.

Jadi Google telah membangunkan teknologi pelaksanaan pertanyaan yang direka untuk pertanyaan interaktif, yang berjalan pada pelayan perantaraan di atas Sistem Fail Google (GFS). (Ingat, GFS adalah inspirasi untuk Apache HDFS, iaitu sistem fail Hadoop.)

Sama seperti Hive, Dremel menggunakan bahasa seperti SQL (biasa kepada kebanyakan pengaturcara) dan menggunakan susun atur data kolumnar. Dremel menyediakan tindak balas pertanyaan yang cepat dan interaktif sambil memelihara kebolehan berskala dan toleransi kesalahan yang terdapat di Apache Hive. Dalam paparan Dremel, Google menerangkan bagaimana ia boleh melakukan pertanyaan pengagregatan dalam beberapa saat melalui jadual dengan trilion baris - tidak buruk sama sekali.

Oleh itu, Google mempunyai teknologi Dremel yang digunakannya secara dalaman, tetapi kemudian ada semua teknologi yang "diilhami oleh" Dremel (seperti semua minyak wangi yang "diilhamkan oleh" Drakkar Noir).