Data berstruktur dalam Persekitaran Data Besar - dummies

Istilah data berstruktur secara umumnya merujuk kepada data yang mempunyai panjang dan format yang ditetapkan untuk data besar. Contoh data berstruktur termasuk nombor, tarikh, dan kumpulan perkataan dan nombor yang dipanggil rentetan . Kebanyakan pakar bersetuju bahawa data jenis ini menyumbang kira-kira 20 peratus daripada data yang ada di sini. Data berstruktur adalah data yang mungkin anda gunakan untuk berurusan. Ia biasanya disimpan dalam pangkalan data.

Sumber data besar berstruktur

Walaupun ini mungkin kelihatan seperti perniagaan seperti biasa, pada kenyataannya, data berstruktur mengambil peranan baru dalam dunia data besar. Evolusi teknologi menyediakan sumber-sumber baru yang berstruktur yang dihasilkan - seringkali dalam masa nyata dan dalam jumlah besar. Sumber data dibahagikan kepada dua kategori:

Komputer- atau mesin yang dihasilkan: Data yang dihasilkan oleh mesin umumnya merujuk kepada data yang dicipta oleh mesin tanpa intervensi manusia.
Manusia yang dihasilkan: Ini adalah data yang manusia, dalam interaksi dengan komputer, bekalan.

Sesetengah pakar berpendapat bahawa kategori ketiga wujud yang merupakan hibrid antara mesin dan manusia. Di sini, kami bimbang dengan dua kategori pertama.

Data berstruktur yang dihasilkan oleh mesin boleh termasuk yang berikut:

Data Sensor: Contohnya termasuk tag ID frekuensi radio, meter pintar, peranti perubatan dan data Sistem Kedudukan Global. Syarikat-syarikat berminat untuk pengurusan rantaian bekalan dan kawalan inventori.
data log web: Apabila pelayan, aplikasi, rangkaian, dan sebagainya beroperasi, mereka menangkap semua jenis data mengenai aktiviti mereka. Ini boleh mengandungi jumlah data yang besar yang boleh berguna, contohnya, untuk menangani perjanjian peringkat perkhidmatan atau untuk meramalkan pelanggaran keselamatan.
Data mata jualan: Apabila juruwang melelong kod bar sebarang produk yang anda beli, semua data yang dikaitkan dengan produk dihasilkan.
Data kewangan: Banyak sistem kewangan kini diprogramkan; mereka dikendalikan berdasarkan peraturan yang telah ditetapkan yang mengautomasikan proses. Data dagangan saham adalah contoh yang baik ini. Ia mengandungi data berstruktur seperti simbol syarikat dan nilai dolar. Beberapa data ini dihasilkan oleh mesin, dan ada yang dihasilkan oleh manusia.

Contoh data berstruktur manusia yang berstruktur mungkin termasuk berikut:

Data input: Ini adalah sekeping data yang mungkin dimasukkan oleh manusia ke komputer, seperti nama, umur, pendapatan, tidak bebas -balas jawapan tinjauan, dan sebagainya. Data ini berguna untuk memahami tingkah laku pelanggan asas.
Data strim Klik: Data dihasilkan setiap kali anda mengklik pautan di laman web. Data ini boleh dianalisis untuk menentukan tingkah laku pelanggan dan corak pembelian.
Data yang berkaitan dengan permainan: Setiap langkah yang anda buat dalam permainan boleh direkodkan. Ini berguna untuk memahami bagaimana pengguna akhir bergerak melalui portfolio permainan.

Apabila diambil bersama dengan berjuta-juta pengguna lain yang menghantar maklumat yang sama, saiznya adalah astronomi. Di samping itu, kebanyakan data ini mempunyai komponen masa nyata yang berguna untuk memahami pola yang mempunyai potensi meramalkan hasil.

Intinya adalah bahawa jenis maklumat ini boleh menjadi kuat dan boleh digunakan untuk banyak tujuan.

Peranan pangkalan data hubungan dalam data besar

Ketekalan data merujuk kepada bagaimana pangkalan data mengekalkan versi sendiri apabila diubahsuai. The granddaddy kedai data yang berterusan adalah sistem pengurusan pangkalan data relasi . Di peringkat awal, industri pengkomputeran menggunakan apa yang sekarang dianggap sebagai teknik primitif untuk kegigihan data. Model perhubungan dicipta oleh Edgar Codd, seorang saintis IBM, pada tahun 1970-an dan telah digunakan oleh IBM, Oracle, Microsoft, dan lain-lain. Ia masih banyak digunakan hari ini dan memainkan peranan penting dalam evolusi data besar. Memahami pangkalan data relasi adalah penting kerana jenis pangkalan data lain digunakan dengan data besar.

Dalam model hubungan, data disimpan dalam jadual. Pangkalan data ini akan mengandungi

skema - iaitu, representasi struktur dari apa yang terdapat dalam pangkalan data. Sebagai contoh, dalam pangkalan data relasional, skema menentukan jadual, medan dalam jadual, dan hubungan antara keduanya. Data disimpan dalam lajur, satu untuk setiap atribut tertentu. Data juga disimpan di baris. Jadual pertama menyimpan maklumat produk; kedai kedua maklumat demografi. Setiap mempunyai pelbagai sifat. Setiap jadual boleh dikemas kini dengan data baru, dan data boleh dipadam, dibaca, dan dikemas kini. Ini sering dicapai dalam model hubungan menggunakan bahasa pertanyaan berstruktur (SQL).

Aspek lain dari model perhubungan menggunakan SQL adalah bahawa jadual boleh dipertimbangkan menggunakan kunci biasa. Kunci umum dalam jadual ialah CustomerID.