Pendekatan yang berbeza untuk Analisis Data Besar - dummies

Dalam banyak kes, analisis data besar akan diwakili oleh pengguna akhir melalui laporan dan visualisasi. Kerana data mentah boleh berubah secara menyeluruh, anda harus bergantung pada alat analisis dan teknik untuk membantu menyajikan data dengan cara yang bermakna.

Aplikasi baru akan datang dan akan jatuh secara luas ke dalam dua kategori: adat atau separa adat.

Aplikasi khusus untuk analisis data besar

Secara umum, aplikasi tersuai dibuat untuk tujuan tertentu atau set tujuan yang berkaitan. Untuk analisis data yang besar, tujuan pengembangan aplikasi adat adalah untuk mempercepatkan masa untuk membuat keputusan atau tindakan. Persekitaran

R

Persekitaran "R" didasarkan pada statistik "S" dan bahasa analisis yang dibangunkan pada tahun 1990-an oleh Bell Laboratories. Ia dikekalkan oleh projek GNU dan boleh didapati di bawah lesen GNU.

Walaupun mencabar untuk memahami sepenuhnya, kedalaman dan fleksibiliti menjadikannya pilihan yang menarik untuk pemaju aplikasi analisis dan "pengguna kuasa. "Di samping itu, projek CRAN R mengekalkan satu set protokol Pemindahan Fail dan pelayan web di seluruh dunia dengan versi terkini R persekitaran. Versi R yang disokong secara komersil, juga boleh didapati daripada Revolusi Analytics.

Lebih khusus lagi, R adalah suite bersepadu alat perisian dan teknologi yang direka untuk membuat aplikasi khusus yang digunakan untuk memudahkan manipulasi data, pengiraan, analisis, dan paparan visual. Di antara keupayaan lanjutan lain, ia menyokong

• komponen pengendalian data dan manipulasi yang berkesan.

• Pengendali untuk pengiraan pada tatasusunan dan jenis data lain yang disusun.

• Alat khusus untuk pelbagai analisis data.

• Keupayaan visualisasi lanjutan. Bahasa pengaturcaraan

• S yang direka oleh pengaturcara, bagi pengaturcara yang mempunyai banyak pembinaan biasa, termasuk syarat, gelung, fungsi rekursif yang ditetapkan pengguna, dan pelbagai kemudahan input dan output.

R sangat sesuai untuk penggunaan tunggal, aplikasi khusus untuk analisis sumber data besar.

API Ramalan Google

API Ramalan Google adalah contoh alat aplikasi analisis data besar yang baru muncul. Ia boleh didapati di laman web pemaju Google dan didokumentasikan dengan baik dan disediakan dengan beberapa mekanisme untuk mengakses menggunakan bahasa pengaturcaraan yang berbeza. Untuk membantu anda memulakan, ia boleh didapati secara percuma selama enam bulan.

API Prediksi adalah agak mudah. Ia mencari corak dan memadankan mereka kepada proskriptif, preskriptif, atau corak sedia ada yang lain.Semasa melakukan padanan coraknya, ia juga "belajar. "Semakin banyak anda menggunakannya, lebih pintar ia mendapat.

Ramalan dilaksanakan sebagai API RESTful dengan sokongan bahasa untuk. NET, Java, PHP, JavaScript, Python, Ruby, dan banyak lagi. Google juga menyediakan skrip untuk mengakses API serta pustaka klien untuk R.

Analisis ramalan adalah salah satu keupayaan berpotensi besar data besar, dan Ramalan Google Prediksi adalah alat yang sangat berguna untuk membuat aplikasi tersuai.

Aplikasi Semi-adat untuk analisa data besar

Sebenarnya, apa yang dilihat oleh ramai orang sebagai aplikasi khusus sebenarnya dibuat dengan menggunakan "paket" atau komponen pihak ketiga seperti perpustakaan. Ia tidak semestinya perlu untuk kod sepenuhnya permohonan baru. Menggunakan aplikasi atau komponen yang dibungkus memerlukan pemaju atau penganalisis untuk menulis kod untuk "bersatu" komponen ini menjadi aplikasi tersuai yang berfungsi. Berikut ini adalah sebab-sebab mengapa ini adalah pendekatan yang baik:

• Kelajuan ke deployment: Kerana anda tidak perlu menulis setiap bahagian aplikasi, masa pembangunan dapat dikurangkan.

• Kestabilan: Menggunakan komponen-komponen pihak ketiga yang dibina dengan baik, boleh dipercayai dan boleh membantu membuat aplikasi tersuai lebih berdaya tahan.

• Kualiti yang lebih baik: Komponen yang dibungkus sering tertakluk kepada standard kualiti yang lebih tinggi kerana ia digunakan dalam pelbagai persekitaran dan domain.

• Lebih banyak fleksibiliti: Jika komponen yang lebih baik disertai, ia boleh ditukar kepada aplikasi, memperluaskan seumur hidup, menyesuaikan diri, dan kegunaan aplikasi tersuai.

Satu lagi aplikasi semi-adat adalah satu di mana kod sumber tersedia dan diubahsuai untuk tujuan tertentu. Ini boleh menjadi pendekatan yang cekap kerana terdapat beberapa contoh blok bangunan aplikasi yang tersedia untuk dimasukkan ke dalam aplikasi semi-custom anda:

• TA-Lib: Perpustakaan Analisis Teknikal digunakan secara meluas oleh pemaju perisian yang perlu menjalankan analisis teknikal data pasaran kewangan. Ia boleh didapati sebagai sumber terbuka di bawah lesen BSD, yang membolehkan ia diintegrasikan ke dalam aplikasi separuh adat.

• JUNG: Rangka Kerja Graf Rangkaian Java Universal adalah sebuah perpustakaan yang menyediakan kerangka umum untuk analisis dan visualisasi data yang boleh diwakili oleh graf atau rangkaian. Ia berguna untuk analisis rangkaian sosial, langkah penting, dan perlombongan data. Ia boleh didapati sebagai sumber terbuka di bawah lesen BSD.

• GeoTools: Satu alatan geospatial sumber terbuka untuk memanipulasi data GIS dalam banyak bentuk, menganalisis atribut spatial dan bukan spatial atau data GIS, dan membuat grafik dan rangkaian data. Ia boleh didapati di bawah lesen GPL2, membolehkan penyepaduan menjadi aplikasi separuh-adat.