Rangka Kerja Analisis Big Data - dummies

Walaupun set alat baru terus tersedia untuk membantu anda mengurus dan menganalisis kerangka data besar anda dengan lebih berkesan, anda mungkin tidak dapat memperoleh apa yang anda perlukan. Di samping itu, pelbagai teknologi boleh menyokong analisis dan keperluan data yang besar seperti ketersediaan, skala, dan prestasi tinggi. Sebahagian daripadanya termasuk peralatan data besar, pangkalan data kolumnar, pangkalan data dalam memori, pangkalan data yang tidak berkaitan, dan enjin pemprosesan secara besar-besaran.

Jadi, apa yang dicari oleh pengguna perniagaan mengenai analisis data besar? Jawapan kepada soalan itu bergantung kepada jenis masalah perniagaan yang mereka cuba selesaikan. Sesetengah pertimbangan penting apabila anda memilih rangka kerja analisis aplikasi data yang besar termasuk yang berikut:

• Sokongan untuk pelbagai jenis data: Banyak organisasi yang menggabungkan, atau mengharapkan untuk memasukkan, semua jenis data sebagai sebahagian daripada penggunaan data besar mereka, termasuk data berstruktur, separuh berstruktur, dan tidak berstruktur.

• Mengendalikan pemprosesan batch dan / atau aliran data masa sebenar: Orientasi tindakan adalah hasil analisa terhadap aliran data masa nyata, sementara orientasi keputusan boleh disampaikan dengan secukupnya oleh pemprosesan batch. Sesetengah pengguna akan memerlukan kedua-dua, kerana mereka berkembang untuk memasukkan pelbagai bentuk analisis.

• Gunakan apa yang sudah ada dalam persekitaran anda: Untuk mendapatkan konteks yang betul, penting untuk memanfaatkan data dan algoritma sedia ada dalam rangka analisis data besar.

• Sokongan NoSQL dan lain-lain bentuk mengakses data: Walaupun organisasi akan terus menggunakan SQL, ramai juga melihat bentuk akses data yang lebih baru untuk menyokong masa tindak balas yang lebih cepat atau lebih cepat untuk membuat keputusan.

• Mengatasi kekurangan rendah: Jika anda akan berurusan dengan halaju data yang tinggi, anda akan memerlukan rangka kerja yang dapat menyokong keperluan untuk kelajuan dan prestasi.

• Menyediakan storan murah: Data besar bermakna berpotensi banyak penyimpanan - bergantung kepada berapa banyak data yang anda mahu memproses dan / atau menyimpan.

• Bersepadu dengan penyebaran awan: awan boleh menyediakan kapasiti penyimpanan dan pengiraan atas permintaan. Semakin banyak syarikat menggunakan awan sebagai analisis "kotak pasir. "Semakin banyak, awan menjadi model penyebaran penting untuk mengintegrasikan sistem sedia ada dengan penyebaran awan dalam model hibrid.

Walaupun semua ciri-ciri ini penting, nilai yang dilihat dan sebenar mewujudkan aplikasi dari kerangka kerja adalah lebih cepat untuk digunakan.Dengan semua keupayaan ini, pertimbangkan rangka kerja aplikasi analisa data yang besar dari sebuah syarikat yang disebut Continuity.

The Continuity AppFabric adalah rangka kerja yang menyokong pembangunan dan penggunaan aplikasi data besar. AppFabric sendiri adalah satu set teknologi yang direka khusus untuk menggangu teknologi data besar peringkat rendah. Pembina aplikasi adalah plug-in Eclipse yang membolehkan pemaju membina, menguji, dan debug secara tempatan dan dalam persekitaran yang biasa. Keupayaan AppFabric termasuk yang berikut:

Sokongan aliran untuk analisa dan reaksi masa nyata

• API Bersepadu, menghapuskan keperluan untuk menulis kepada prasarana data besar

• Antaramuka pertanyaan untuk keputusan mudah dan sokongan untuk pemproses pertanyaan pertanyaan

• Set data yang mewakili data dan jadual yang boleh dicari boleh diakses dari API Bersepadu

• Membaca dan menulis data bebas daripada format input atau output atau spesifik komponen asas

• Pemprosesan peristiwa berasaskan transaksi

• Penyebaran multimodal ke satu nod tunggal atau awan

• Pendekatan ini akan mendapat daya tarikan untuk pembangunan aplikasi data besar terutamanya kerana kebanyakan peralatan dan teknologi yang diperlukan untuk mewujudkan persekitaran data yang besar.

Kekurangan kolaborasi boleh mahal dengan banyak cara. Organisasi besar boleh mendapat manfaat daripada alat yang memacu kerjasama. Sering kali orang yang melakukan kerja yang sama tidak menyedari usaha masing-masing yang membawa kepada kerja pendua.

Contoh lain yang baik dalam rangka kerja ialah OpenChorus. Selain daripada perkembangan aplikasi analisis data yang pesat, ia juga menyokong kerjasama dan menyediakan banyak ciri lain yang penting kepada pemaju perisian, seperti integrasi alat, kawalan versi, dan pengurusan konfigurasi.

Open Chorus adalah projek yang dikendalikan oleh EMC Corporation dan boleh didapati di bawah lesen Apache 2. 0. EMC juga menghasilkan dan menyokong versi komersial Chorus. Kedua-dua Open Chorus dan Chorus mempunyai rangkaian rakan kongsi yang bersemangat serta set penyumbang individu dan korporat yang besar.

Open Chorus adalah rangka kerja generik. Ciri utamanya ialah keupayaan untuk mewujudkan "hub" bersama untuk berkongsi sumber data besar, pandangan, teknik analisis, dan visualisasi. Open Chorus menyediakan yang berikut:

Repositori alat analisis, artifak, dan teknik dengan versi lengkap, penjejakan perubahan, dan pengarsipan

• Ruang Kerja dan kotak pasir yang disediakan sendiri dan mudah dikelola oleh anggota komunitas

• Visualisasi, termasuk peta haba, siri masa, histogram, dan sebagainya

• Mencari kepincangan dari mana-mana dan semua aset data, termasuk Hadoop, metadata, repositori SQL dan komen

• Kerjasama melalui ciri rangkaian seperti sosial yang menggalakkan penemuan,

• Perluasan untuk integrasi komponen dan teknologi pihak ketiga