Menguruskan Big Data Technologies dalam awan Hybrid - dummies

Istilah data besar sering digunakan dalam dunia teknologi awan hibrid kerana keperluan berterusan untuk memproses peningkatan jumlah data. Fakta utama mengenai data besar adalah bahawa ia wujud di titik tipikal penyelesaian yang organisasi telah dilakukan secara historis untuk mengurus jumlah besar data kompleks. Teknologi data besar membolehkan orang benar-benar menganalisis dan menggunakan data ini dengan berkesan.

Ciri-ciri data yang besar

Data besar umumnya mempunyai tiga ciri - jumlah, kepelbagaian, dan halaju:

Volume: Data besar besar dalam jumlah. Secara umumnya merujuk kepada sekurang-kurangnya beberapa terabyte data. Pelaksanaan data besar banyak untuk menganalisis petabytes maklumat.

Nama	Nilai
Byte	10 ⁰
Gigabyte	10 ⁹ bytes
Terabyte	10 ^{12 > bait} Petabyte
10	15 ^bytes Exabyte
10	18 ^bytes

Pelbagai:

Data besar datang dalam pelbagai bentuk dan saiz. Ia termasuk jenis data: Data berstruktur
- adalah jenis data biasa yang digunakan penganalisis untuk berurusan. Ia termasuk pendapatan dan bilangan jualan - jenis data yang anda fikirkan termasuk dalam pangkalan data. Data berstruktur juga dihasilkan dengan cara baru dalam produk seperti sensor dan tag RFID.
  
  Data yang berulang-ulang
- mempunyai beberapa struktur padanya tetapi tidak seperti cara anda memikirkan jadual dalam pangkalan data. Ia termasuk format EDI dan XML. Data tak berstruktur
- termasuk teks, imej, dan audio, termasuk sebarang dokumen, mesej e-mel, tweet, atau blog dalaman kepada syarikat atau di Internet. Akaun data tidak berstruktur untuk kira-kira 80 peratus daripada semua data. Halaju:
Ini adalah kelajuan di mana data bergerak. Fikirkan tentang sensor yang menangkap data setiap milisaat atau data aliran output dari peralatan perubatan. Data besar sering datang kepada anda dalam aliran, jadi ia mempunyai sifat masa nyata yang dikaitkan dengannya. awan adalah tempat yang sesuai untuk data besar kerana simpanan yang berskala, mengira kuasa, dan sumber anjal. Model awan berskala besar; pengkomputeran yang diedarkan dan beberapa kerangka dan teknologi telah muncul untuk menyokong model ini, termasuk

Apache Hadoop:

Satu platform pengkomputeran diedarkan sumber terbuka yang ditulis di Jawa. Ia adalah perpustakaan perisian yang membolehkan pemprosesan diedarkan di seluruh kelompok komputer. Ia benar-benar sistem fail yang diedarkan. Ia mewujudkan kolam komputer, masing-masing dengan sistem fail Hadoop. Hadoop direka bentuk untuk menangani sejumlah besar data kompleks.Data boleh distrukturkan, tidak berstruktur, atau semistruktur. Hadoop boleh berjalan di banyak pelayan yang tidak berkongsi memori atau cakera. Lihat Hadoop untuk maklumat lanjut. MapReduce:
Rangka kerja perisian yang diperkenalkan oleh Google untuk menyokong pengkomputeran yang diedarkan pada set data yang besar. Ia berada di tengah-tengah apa yang dilakukan Hadoop dengan data besar dan analisis data besar. Ia direka untuk memanfaatkan sumber awan. Pengkomputeran ini dilakukan di sesetengah komputer, yang dipanggil kluster , dan setiap cluster dirujuk sebagai nod . MapReduce boleh menangani data berstruktur dan tidak berstruktur. Pengguna menentukan fungsi peta yang memproses pasangan kunci / nilai untuk menghasilkan satu set pasangan pertengahan dan fungsi pengurangan yang menggabungkan pasangan ini. Pangkalan data data yang besar

Satu daya tarikan utama Hadoop ialah ia boleh mengendalikan pelbagai jenis data. Sistem pengurusan pangkalan data selari telah berada di pasaran selama beberapa dekad. Mereka boleh menyokong pelaksanaan sejajar kerana kebanyakan jadual dibahagikan ke atas nod dalam kelompok, dan mereka boleh menterjemah arahan SQL ke dalam pelan yang dibahagikan di seluruh nod dalam kumpulan. Walau bagaimanapun, mereka kebanyakannya berurusan dengan data berstruktur kerana sukar untuk menyesuaikan data yang tidak terstruktur dan bebas ke dalam lajur dan baris dalam model hubungan.

Hadoop telah memulakan pergerakan dalam apa yang dipanggil

NoSQL, yang bermaksud bukan hanya SQL. Istilah ini merujuk kepada satu set teknologi yang berbeza daripada sistem pangkalan data relasi. Satu perbezaan utama ialah mereka tidak menggunakan SQL. Mereka juga direka untuk kedai data yang diedarkan. NoSQL tidak bermakna orang tidak boleh menggunakan SQL. Sebaliknya, ideanya ialah, bergantung kepada apa masalah anda, pangkalan data relasi dan pangkalan data NoSQL boleh wujud bersama dalam sesebuah organisasi. Terdapat banyak contoh jenis pangkalan data ini, termasuk yang berikut:

Apache Cassandra:

Sistem pengurusan data diedarkan secara terbuka yang asalnya dibangunkan oleh Facebook. Ia tidak mempunyai keperluan struktur yang ketat, jadi ia boleh mengendalikan semua jenis data yang berbeza. Pakar mendakwa ia unggul pada pemprosesan transaksi masa nyata yang tinggi. Pangkalan data sumber terbuka lain termasuk MongoDB, Apache CouchDB, dan Apache HBase. Amazon Simple DB:
Amazon menyamakan pangkalan data ini kepada spreadsheet kerana ia mempunyai lajur dan baris dengan atribut dan item yang disimpan di dalamnya. Tidak seperti hamparan, bagaimanapun, setiap sel boleh mempunyai banyak nilai, dan setiap item boleh mempunyai set sendiri sifat-sifat yang berkaitan. Amazon kemudian secara automatik mengindeks data. Baru-baru ini, Amazon mengumumkan Amazon Dynamo DB sebagai cara untuk membawa data besar NoSQL ke awan. Google BigTable:
Hibrid ini adalah jenis seperti satu meja besar. Kerana jadual boleh menjadi besar, mereka berpecah pada sempadan baris ke dalam jadual, yang mungkin beratus-ratus megabyte atau lebih. MapReduce sering digunakan untuk menjana dan mengubah suai data yang disimpan dalam BigTable.