Memastikan kualiti data masuk yang masuk - dummies

Apabila anda sedang merancang gudang data dan anda menentukan data luaran yang anda perlukan, anda hanya membuat pesanan (sama seperti pesanan pesanan atau bakul buah dari laman sesawang). Selepas anda mula menerima data melalui strim, pemindahan fail, atau beberapa cara lain, ia berlayar lancar - atau adakah ia?

Bagaimana pula dengan kualiti data yang masuk? Anda benar-benar harus menggunakan prosedur jaminan mutu (QA) yang sama dengan data yang disediakan secara luaran yang anda lakukan terhadap data yang berasal dari sistem dalaman anda sendiri. Hanya kerana anda membeli maklumat di pasaran terbuka tidak menjamin bahawa data itu tidak sempurna.

Terapkan prosedur QA untuk setiap kumpulan data masuk dengan mengikuti langkah-langkah berikut:

1. Ketahui sama ada data masuk telah memeriksa nilai yang ditambahkan pada fail.

   Beberapa contoh nilai cek adalah bilangan rekod dalam setiap fail, jumlah nilai setiap lajur angka (jumlah dolar jualan untuk semua rekod dan jumlah unit yang dijual untuk semua rekod, sebagai contoh), dan subset dari jumlah nilai lajur (jumlah jumlah jualan dan unit mengikut negeri, contohnya).

   Jika memeriksa nilai yang disediakan, ia mesti disimpan dan digunakan sebagai sebahagian daripada prosedur pemuatan akhir-ke-akhir. Tiada siapa yang harus mengemas kini kandungan gudang secara rasmi sehingga jumlah cek bersetuju dengan pengiraan yang anda buat apabila anda menyiapkan data untuk memuatkan.

2. Jika tiada nilai cek disediakan, minta mereka.

   Walaupun permintaan itu mungkin mengambil beberapa kitaran (beberapa minggu atau bulan, misalnya) untuk dipenuhi, mana-mana penyedia data yang berminat untuk menyediakan perkhidmatan pelanggan yang tinggi memerlukan permintaan jenis ini dengan serius dan berusaha untuk membuat maklumat kawalan yang diminta boleh didapati.

3. Semasa prosedur memuatkan anda, penapis setiap baris.

   Pastikan syarat berikut benar:

   1. Kekunci (pengecam unik bagi setiap rekod) adalah betul di semua maklumat. Sebagai contoh, jika setiap rekod dalam kumpulan data SalesMasterRecord mesti mempunyai 12 rekod berkaitan dalam SalesDetailRecord (satu untuk setiap bulan), pastikan semua rekod terperinci hadir dengan membandingkan nilai utama rekod.

   2. Rentang nilai adalah betul. Jualan produk sebulan, sebagai contoh, mestilah berada dalam batas yang munasabah bagi jenis produk (kapal terbang adalah berbeza daripada bolt, contohnya).

   3. Ralat maklumat yang hilang (mungkin - hampir tidak dapat dielakkan - dengan data yang disediakan secara luaran) tidak mengganggu makna data yang masuk.

      Sebagai contoh, walaupun ketiadaan potongan data tambahan (ditakrifkan mengikut peraturan perniagaan untuk industri atau organisasi tertentu anda) mungkin tidak menjadi masalah yang serius, jika separuh rekod masuk mempunyai ruang kosong di mana UnitsSold, TotalSalesPrice, atau beberapa jenis maklumat kritikal yang lain haruslah, nilai data dipertanyakan di antara yang terbaik.

   4. Terutamanya pada tahap awal memperoleh data luaran (tiga atau empat bulan pertama, sebagai contoh), gunakan alat analisis anda, seperti yang dijelaskan dalam Bab 10, untuk melakukan analisis kualiti data sebelum pengguna menggunakan alat yang sama untuk menjalankan perniagaan analisis.

      Cari keanehan, anomali, hasil membingungkan, tidak konsisten, paradoks yang jelas, dan apa sahaja yang kelihatan aneh. Kemudian, gerakkan ke akar data untuk memeriksa sumber kekasaran itu.

      Ingat bahawa anda mungkin berurusan dengan berjuta-juta baris data yang masuk: Selain daripada tidak dapat memeriksa setiap baris secara peribadi, anda mungkin menghadapi kesukaran menubuhkan penapisan dan kriteria pemeriksaan QA untuk setiap keadaan yang mungkin.

      Sesiapa sahaja yang pernah melakukan apa-apa dengan data sumber yang disediakan secara luaran telah menemui segala macam ketidakkonsistenan aneh dan data yang hilang dalam maklumat yang masuk. Dengan meletakkan diri anda di tempat pengguna dan menggunakan alat yang sama yang mereka gunakan, anda mungkin dapat mengetahui satu atau dua perkara yang anda boleh membetulkan, menjadikan gudang data anda menyimpan lebih banyak maklumat perniagaan yang bernilai.