Cara Memastikan Kesahan, Keaslian, dan Keterpurukan Data Besar - patung

Kelantangan tinggi, kepelbagaian tinggi, dan halaju tinggi adalah ciri-ciri penting data besar. Tetapi ciri-ciri lain dari data besar sama pentingnya, terutamanya apabila anda menggunakan data besar untuk proses operasi. Set kedua ciri "V" yang penting untuk menjalankan data besar termasuk

• Kesahan: Adakah data itu betul dan tepat untuk kegunaan yang dimaksudkan?

• Kebenaran: Adakah hasilnya bermakna bagi ruang masalah yang diberikan?

• Keterpuratan: Berapa lama anda perlu menyimpan data ini?

Kesahihan data yang besar

Anda mahu keputusan yang tepat. Tetapi pada peringkat awal menganalisis petabytes data, kemungkinan besar anda tidak akan risau tentang bagaimana setiap elemen data berlaku. Aliran awal data besar mungkin sebenarnya agak kotor. Pada peringkat awal, adalah lebih penting untuk melihat sama ada sebarang hubungan wujud di antara elemen dalam sumber data besar ini daripada memastikan semua elemen adalah sah.

Walau bagaimanapun, selepas organisasi menentukan bahagian-bahagian analisis data awal penting, subset data besar ini perlu disahkan kerana kini akan digunakan untuk keadaan operasi. Apabila data bergerak dari penjelajahan ke tindakan yang boleh dilakukan, data mesti disahkan. Kesahan sumber data besar dan analisa berikutnya mestilah tepat sekiranya anda menggunakan keputusan untuk membuat keputusan.

Data input yang sah diikuti dengan pemprosesan data yang betul harus menghasilkan hasil yang tepat. Dengan data yang besar, anda mesti berhati-hati dengan lebih lanjut mengenai kesahihannya. Sebagai contoh, dalam penjagaan kesihatan, anda mungkin mempunyai data dari percubaan klinikal yang mungkin berkaitan dengan gejala penyakit pesakit. Tetapi doktor yang merawat orang itu tidak boleh hanya mengambil keputusan percubaan klinikal tanpa mengesahkannya.

Bayangkan bahawa satelit cuaca menunjukkan bahawa badai bermula di satu bahagian dunia. Bagaimana ribut itu memberi kesan kepada individu? Dengan kira-kira setengah bilion pengguna, adalah mungkin untuk menganalisis aliran Twitter untuk menentukan kesan ribut pada populasi tempatan. Oleh itu, menggunakan Twitter dalam kombinasi dengan data dari satelit cuaca dapat membantu para penyelidik memahami kebenaran kebenaran ramalan cuaca.

Ketidakseimbangan data yang besar

Jika anda mempunyai data yang sah dan boleh membuktikan kesahihan keputusan, berapa lama data perlu "hidup" untuk memenuhi keperluan anda? Dalam tetapan data standard, anda boleh menyimpan data selama beberapa dekad kerana anda telah, dari masa ke masa, membina pemahaman tentang data yang penting untuk apa yang anda lakukan dengannya.Anda telah menetapkan peraturan untuk mata wang data dan ketersediaan peta untuk proses kerja anda.

Sebagai contoh, sesetengah organisasi mungkin hanya menyimpan data dan urus niaga pelanggan yang terkini dalam sistem perniagaan mereka. Ini akan memastikan pengambilan maklumat ini dengan pantas apabila diperlukan. Sekiranya mereka perlu melihat pada tahun sebelumnya, pasukan TI mungkin perlu memulihkan data dari storan luar talian untuk menghormati permintaan. Dengan data besar, masalah ini diperbesar.

Jika storan terhad, lihat sumber data besar untuk menentukan apa yang perlu anda kumpul dan berapa lama anda perlu menyimpannya. Dengan beberapa sumber data yang besar, anda mungkin perlu mengumpulkan data untuk analisis cepat.

Anda kemudiannya boleh menyimpan maklumat secara tempatan untuk diproses selanjutnya. Sekiranya anda tidak mempunyai simpanan yang mencukupi untuk semua data ini, anda boleh memproses data "on the fly" dan hanya menyimpan sekeping maklumat yang relevan di dalam negara. Berapa lama anda menyimpan data besar yang ada bergantung kepada beberapa faktor:

• Berapa banyak data disimpan di sumbernya?

• Adakah anda perlu memproses data berulang kali?

• Adakah anda perlu memproses data, mengumpul data tambahan, dan melakukan lebih banyak pemprosesan?

• Adakah anda mempunyai peraturan atau peraturan yang memerlukan storan data?

• Adakah pelanggan anda bergantung pada data anda untuk kerja mereka?

• Adakah data masih mempunyai nilai atau tidak lagi relevan?

Oleh kerana volum, kepelbagaian, dan halaju data besar, anda perlu memahami turun naik. Untuk beberapa sumber, data akan sentiasa berada di sana; untuk yang lain, ini tidak berlaku. Memahami apa data di luar sana dan untuk berapa lama dapat membantu anda menentukan keperluan dan dasar pengekalan untuk data besar.

Sebagai pengguna, data besar akan membantu untuk menentukan profil yang lebih baik untuk bagaimana dan bila anda membeli barangan dan perkhidmatan. Sebagai pesakit, data besar akan membantu untuk menentukan pendekatan yang lebih disesuaikan untuk rawatan dan penyelenggaraan kesihatan. Sebagai data yang profesional, besar akan membantu anda mengenal pasti cara yang lebih baik untuk mereka bentuk dan menyampaikan produk dan perkhidmatan anda.

Ini hanya akan berlaku apabila data besar diintegrasikan ke dalam proses operasi syarikat dan organisasi.