Membandingkan Hadoop Distributions - dummies

Anda akan mendapati bahawa ekosistem Hadoop mempunyai banyak bahagian komponen, semuanya wujud sebagai projek Apache mereka sendiri. Kerana Hadoop telah berkembang dengan pesat, dan menghadapi beberapa perubahan penting, versi berbeza dari komponen komuniti sumber terbuka mungkin tidak sepenuhnya kompatibel dengan komponen lain. Ini menimbulkan kesukaran yang besar bagi orang yang ingin mendapatkan permulaan bebas dengan Hadoop dengan memuat turun dan menyusun projek secara langsung dari Apache.

Red Hat adalah, untuk ramai orang, model bagaimana untuk berjaya menghasilkan wang dalam pasaran perisian sumber terbuka. Apa yang dilakukan oleh Red Hat adalah dengan mengambil Linux (sistem operasi sumber terbuka), mengikat semua komponen yang diperlukan, membina pemasang mudah, dan memberi sokongan berbayar kepada mana-mana pelanggan.

Dengan cara yang sama Red Hat telah menyediakan pembungkusan yang berguna untuk Linux, beberapa syarikat telah menggabungkan Hadoop dan beberapa teknologi berkaitan ke dalam distribusi Hadoop mereka sendiri. Senarai ini menerangkan yang lebih penting:

• Cloudera : Mungkin pemain terkenal di lapangan, Cloudera dapat menuntut Doug Cutting, pengasas bersama Hadoop, sebagai ketua arkiteknya. Cloudera dilihat oleh ramai orang sebagai peneraju pasaran di ruang Hadoop kerana ia mengeluarkan distribusi Hadoop komersil pertama dan merupakan penyumbang kod yang sangat aktif terhadap ekosistem Hadoop.

  Cloudera Enterprise, sebuah produk yang diposisikan oleh Cloudera di tengah-tengah apa yang dikenali sebagai "Hub Data Perusahaan", termasuk Pengedaran Cloudera untuk Hadoop (CDH), pengedaran berasaskan sumber Hadoop dan projek-projek yang berkaitan juga sebagai Pengurus Cloudera miliknya. Juga termasuk adalah langganan sokongan teknikal bagi komponen teras CDH.

  Model perniagaan utama Cloudera telah lama didasarkan pada keupayaannya untuk memanfaatkan pengedaran CDH yang popular dan menyediakan perkhidmatan dan sokongan berbayar. Pada musim gugur 2013, Cloudera secara rasmi mengumumkan bahawa ia memberi tumpuan kepada menambah komponen tambah nilai proprietari di atas sumber terbuka Hadoop untuk bertindak sebagai pembeda.

  Juga, Cloudera telah menjadikannya satu amalan biasa untuk mempercepatkan penggunaan kod sumber terbuka alpha dan beta untuk siaran Hadoop yang lebih baru. Pendekatannya adalah untuk mengambil komponen yang dianggap matang dan mengubahnya ke dalam perpustakaan sumber terbuka siap sedia yang dimasukkan dalam pengedarannya.

• EMC : HD yang sangat penting, iaitu distribusi Apache Hadoop dari EMC, menggabungkan teknologi pangkalan data pemprosesan besar-besaran EMC (MPP) pangkalan data EMC (dahulu dikenali sebagai Greenplum, dan kini dikenali sebagai HAWQ) dengan Apache Hadoop.Hasilnya adalah taburan Hadoop berprestasi tinggi dengan pemprosesan SQL yang benar untuk Hadoop. Pertanyaan berasaskan SQL dan alat perisikan perniagaan lain boleh digunakan untuk menganalisis data yang disimpan dalam HDFS.

• Hortonworks : Pemain utama lain dalam pasaran Hadoop, Hortonworks mempunyai jumlah terbesar penyumbang dan penyumbang kod bagi komponen ekosistem Hadoop. (Pemimpin adalah pengawal projek Apache dan mempunyai kuasa untuk meluluskan perubahan kod.)

  Hortonworks adalah spin-off dari Yahoo!, yang merupakan pemacu korporat asal projek Hadoop kerana ia memerlukan platform berskala besar untuk menyokong perniagaan enjin cariannya. Dari semua vendor pengedaran Hadoop, Hortonworks adalah yang paling komited terhadap pergerakan sumber terbuka, berdasarkan jumlah semangat kerja pembangunan yang menyumbang kepada masyarakat, dan kerana semua usaha pembangunannya (akhirnya) dilipat ke dalam kod sumber terbuka.

  Model perniagaan Hortonworks didasarkan pada keupayaannya untuk memanfaatkan pengedaran HDPnya yang popular dan menyediakan perkhidmatan dan sokongan berbayar. Walau bagaimanapun, ia tidak menjual perisian proprietari. Sebaliknya, syarikat dengan penuh semangat menyokong idea bekerja dalam komuniti sumber terbuka untuk membangunkan penyelesaian yang memenuhi keperluan ciri perusahaan (contohnya, pemprosesan pertanyaan yang lebih cepat dengan Hive).

  Hortonworks telah mencipta beberapa hubungan dengan syarikat-syarikat yang ditubuhkan dalam industri pengurusan data: Teradata, Microsoft, Informatica, dan SAS, sebagai contoh. Walaupun syarikat-syarikat ini tidak mempunyai tawaran sendiri, dalam rumah Hadoop, mereka bekerjasama dengan Hortonworks untuk menyediakan penyelesaian Hadoop bersepadu dengan set produk mereka sendiri.

  Hortonworks menawarkan Hadoop adalah Platform Data Hortonworks (HDP), yang termasuk Hadoop serta perkakas dan projek berkaitan. Juga tidak seperti Cloudera, Hortonworks hanya mengeluarkan versi HDP dengan kod peringkat produksi dari komuniti sumber terbuka.

• IBM : Big Blue menawarkan pelbagai tawaran Hadoop, dengan tumpuan sekitar nilai tambah di atas sumber terbuka Hadoop stack.

• Intel: Pengedaran Intel untuk Apache Hadoop (Intel Distribution) menyediakan pemprosesan dan pengurusan data yang diedarkan untuk aplikasi perusahaan yang menganalisis data besar.

  Ciri-ciri utama termasuk prestasi yang sangat baik dengan pengoptimuman untuk pemproses Intel Xeon, penyimpanan SSD Intel, dan rangkaian Intel 10GbE; keselamatan data melalui penyulitan dan penyahsulitan dalam HDFS, dan kawalan akses berasaskan peranan dengan granulariti peringkat sel dalam HBase; Prestasi permintaan sarang bertambah baik; sokongan untuk analisis statistik dengan penyambung untuk R, pakej statistik sumber terbuka yang popular; dan grafik analisis melalui Intel Graph Builder.

• MapR : Untuk pengedaran lengkap untuk Apache Hadoop dan projek-projek yang berkaitan yang bebas dari Apache Software Foundation, lihat tidak lebih daripada MapR. Memandangkan tiada ketergantungan Java atau pergantungan pada sistem fail Linux, MapR sedang dipromosikan sebagai satu-satunya distribusi Hadoop yang menyediakan perlindungan data penuh, tiada titik kegagalan tunggal, dan kelebihan kemudahan yang mudah digunakan.

  Tiga edisi MapR boleh didapati: M3, M5, dan M7. Edisi M3 adalah percuma dan tersedia untuk kegunaan pengeluaran tanpa had; MapR M5 adalah tawaran perisian perantara peringkat pertengahan; dan MapR M7 adalah pengedaran lengkap untuk Apache Hadoop dan HBase yang termasuk Pig, Hive, Sqoop, dan banyak lagi.