Bagaimana Menetapkan Yayasan Seni Bina untuk Data Besar - monyet

Penting untuk meletakkan asas seni bina yang kuat jika anda ingin berjaya dengan data besar. Di samping menyokong keperluan fungsian, penting untuk menyokong prestasi yang diperlukan. Keperluan anda bergantung pada jenis analisa yang anda dukung. Anda akan memerlukan jumlah kuasa dan kelajuan pengiraan yang tepat.

Seni bina anda juga harus mempunyai jumlah yang tepat untuk redundansi supaya anda dilindungi daripada latensi dan downtime yang tidak dijangka.

Mula dengan bertanya soalan berikut:

Berapa banyak data yang diperlukan oleh organisasi anda untuk dikendalikan hari ini dan pada masa akan datang?
Berapa kerapkah organisasi anda perlu menguruskan data dalam masa nyata atau berhampiran masa sebenar?
Berapa banyak risiko yang boleh dilakukan oleh organisasi anda? Adakah industri anda tertakluk kepada keperluan keselamatan, kepatuhan, dan pentadbiran yang ketat?
Seberapa penting kelajuan untuk keperluan anda untuk menguruskan data?
Seberapa tepat atau tepat apakah data perlu?

Antara muka dan suapan untuk data besar

Untuk memahami bagaimana data besar berfungsi di dunia nyata, penting untuk bermula dengan memahami keperluan antaramuka dan suapan. Malah, apa yang membuat data besar besar adalah hakikat bahawa ia bergantung pada memetik banyak data dari banyak sumber.

Oleh itu, antara muka pengaturcaraan aplikasi terbuka (API) akan menjadi teras kepada mana-mana seni bina data yang besar. Di samping itu, perlu diingat bahawa antara muka wujud di setiap peringkat dan di antara setiap lapisan timbunan. Tanpa perkhidmatan integrasi, data besar tidak boleh berlaku.

Infrastruktur fizikal data yang berlebihan

Infrastruktur fizikal yang menyokong adalah asas kepada operasi dan skalabilitas arsitektur data yang besar. Malah, tanpa adanya infrastruktur fizikal yang mantap, data besar mungkin tidak muncul sebagai trend penting. Untuk menyokong data volum yang tidak diduga atau tidak dapat diramalkan, infrastruktur fizikal untuk data besar harus berbeza daripada itu untuk data tradisional.

Infrastruktur fizikal adalah berdasarkan model pengkomputeran yang diedarkan. Ini bermakna data mungkin disimpan secara fizikal di banyak lokasi yang berbeza dan boleh dihubungkan bersama melalui rangkaian, penggunaan sistem fail yang diedarkan, dan pelbagai alat dan aplikasi analitik data besar.

Redundansi adalah penting kerana anda berurusan dengan begitu banyak data dari banyak sumber yang berbeza. Redundansi datang dalam pelbagai bentuk. Jika syarikat anda telah membuat awan peribadi, anda akan ingin mempunyai redundansi yang dibina di dalam persekitaran peribadi supaya ia boleh keluar untuk menyokong perubahan beban kerja.

Jika syarikat anda ingin mengandungi pertumbuhan IT dalaman, ia mungkin menggunakan perkhidmatan awan luaran untuk menambah sumber dalamannya. Dalam beberapa kes, redundansi ini mungkin datang dalam bentuk Perisian sebagai Perkhidmatan (SaaS) yang menawarkan yang membolehkan syarikat melakukan analisis data yang canggih sebagai perkhidmatan. Pendekatan SaaS menawarkan kos yang lebih rendah, permulaan yang lebih cepat, dan evolusi lancar teknologi mendasar.

Infrastruktur keselamatan Data Big

Analisis data besar yang lebih penting menjadi syarikat, lebih penting lagi untuk menjamin data tersebut. Contohnya, jika anda adalah syarikat penjagaan kesihatan, anda mungkin mahu menggunakan aplikasi data besar untuk menentukan perubahan dalam demografi atau perubahan dalam keperluan pesakit. Data ini mengenai pengadun anda perlu dilindungi kedua-duanya untuk memenuhi keperluan pematuhan dan untuk melindungi privasi pesakit.

Anda perlu mengambil kira siapa yang dibenarkan untuk melihat data dan dalam keadaan apa yang dibenarkan untuk berbuat demikian. Anda perlu dapat mengesahkan identiti pengguna serta melindungi identiti pesakit.

Sumber data besar operasi

Adalah penting untuk memahami bahawa anda perlu memasukkan semua sumber data yang akan memberikan gambaran lengkap tentang perniagaan anda dan melihat bagaimana data memberi kesan kepada cara anda mengendalikan perniagaan anda. Apabila dunia berubah, penting untuk memahami bahawa data operasi kini perlu merangkumi satu set sumber data yang lebih luas, termasuk sumber yang tidak berstruktur seperti data media sosial dalam semua bentuknya.

Anda mencari pendekatan baru untuk pengurusan data dalam dunia data besar, termasuk arkitek pangkalan data, grafik, kolumnar, dan geospatial. Secara kolektif, ini dirujuk sebagai NoSQL, atau bukan hanya SQL, pangkalan data. Pada dasarnya, anda perlu memetakan arsitektur data kepada jenis transaksi.

Melakukannya akan membantu untuk memastikan data betul tersedia apabila anda memerlukannya. Anda juga memerlukan arkitek data yang menyokong kandungan yang tidak berstruktur kompleks. Anda perlu memasukkan kedua pangkalan data hubungan dan pangkalan data yang tidak berkaitan dalam pendekatan anda untuk memanfaatkan data besar. Anda juga perlu memasukkan sumber data yang tidak berstruktur, seperti sistem pengurusan kandungan, supaya anda dapat lebih dekat dengan pandangan perniagaan 360 darjah itu.

Semua sumber data operasi ini mempunyai beberapa ciri yang sama:

Mereka mewakili sistem rekod yang menjejaki data kritikal yang diperlukan untuk masa nyata, operasi sehari-hari perniagaan.
Mereka sentiasa dikemas kini berdasarkan urus niaga yang berlaku dalam unit perniagaan dan dari web.
Untuk sumber-sumber ini untuk memberikan perwakilan yang tepat mengenai perniagaan, mereka mesti menggabungkan data berstruktur dan tidak berstruktur.
Sistem ini juga mesti dapat skala untuk menyokong beribu-ribu pengguna secara konsisten. Ini mungkin termasuk sistem e-dagang transaksi, sistem pengurusan perhubungan pelanggan, atau aplikasi pusat panggilan.