Meletakkan Data Big Anda Bersama - dummies

Bagaimana anda tahu bagaimana untuk meletakkan semua data anda bersama-sama? Dengan projek data besar, apa yang anda ingin lakukan dengan data terstruktur dan tidak tersirat ini menunjukkan mengapa anda boleh memilih satu teknologi daripada yang lain. Ia juga menentukan keperluan untuk memahami struktur data masuk untuk meletakkan data ini di tempat yang betul.

Menguruskan jenis data yang berlainan untuk data besar

Anda perlu mempertimbangkan beberapa ciri-ciri data besar dan jenis sistem pengurusan data yang mungkin anda ingin gunakan untuk menangani setiap satu.

Menggabungkan jenis data ke persekitaran data yang besar

Satu lagi aspek penting dalam data besar ialah anda sering tidak perlu memiliki semua data yang akan anda gunakan. Banyak contoh membuat titik. Anda mungkin memanfaatkan data media sosial, data yang berasal dari statistik industri pihak ketiga, atau bahkan data yang berasal dari satelit. Hanya berfikir tentang media sosial dan anda akan faham.

Sering kali, ia perlu untuk mengintegrasikan sumber yang berbeza. Data ini mungkin datang dari semua sistem dalaman, dari sumber dalaman dan luaran, atau dari sumber luar sepenuhnya. Kebanyakan data ini mungkin telah dibungkus sebelum ini.

Data tidak perlu datang kepada anda dalam masa nyata. Anda hanya mungkin mempunyai banyak dan ia berbeza. Ini masih boleh memenuhi syarat sebagai masalah data besar. Sudah tentu, anda juga boleh menghadapi senario di mana anda melihat jumlah data yang besar, pada halaju tinggi, dan ia berbeza.

Intinya ialah anda tidak akan mendapat nilai perniagaan sekiranya anda berurusan dengan pelbagai sumber data sebagai satu set maklumat silo yang terputus.

Komponen yang anda perlukan termasuk penyambung dan metadata.

Penyambung

Anda ingin mempunyai beberapa penyambung yang membolehkan anda menarik data dari pelbagai sumber data yang besar. Mungkin anda mahu penyambung Twitter atau Facebook. Mungkin anda perlu menyatukan dari gudang data anda dengan sumber data besar yang berada di luar premis anda sehingga anda dapat menganalisis kedua sumber data ini bersama-sama.

Metadata

Komponen penting untuk mengintegrasikan semua data ini ialah metadata. Metadata adalah definisi, pemetaan, dan ciri-ciri lain yang digunakan untuk menggambarkan bagaimana mencari, mengakses, dan menggunakan komponen data (dan perisian) syarikat. Satu contoh metadata adalah data mengenai nombor akaun. Ini mungkin termasuk nombor, perihalan, jenis data, nama, alamat, nombor telefon dan tahap privasi.

Metadata boleh digunakan untuk membantu anda menyusun kedai data anda dan menangani sumber data yang baru dan berubah. Walaupun idea metadata bukan baru, ia berubah dan berkembang dalam konteks data besar.Dalam dunia metadata tradisional, penting untuk mempunyai katalog yang memberikan satu pandangan terhadap semua sumber data.

Tetapi katalog ini perlu berbeza apabila anda tidak mengawal semua sumber data ini. Anda mungkin memerlukan alat analisis yang akan membantu anda memahami metadata yang mendasari.