Video: Belajar Data Mining Perbandingan Algoritma (3) di Rapidminer 2024
Berinteraksi dengan data dari satu sumber ialah satu masalah; berinteraksi dengan data dari beberapa sumber agak lain. Walau bagaimanapun, dataset hari ini umumnya berasal dari lebih daripada satu sumber, jadi anda perlu memahami komplikasi yang menggunakan banyak sumber data yang boleh menyebabkan. Apabila bekerja dengan pelbagai sumber data, anda mesti melakukan perkara berikut:
- Tentukan sama ada kedua dataset mengandungi semua data yang diperlukan. Dua pereka tidak mungkin membuat dataset yang mengandungi data yang sama, dalam format yang sama, dengan jenis yang sama, dan dalam susunan yang sama. Oleh itu, anda perlu mempertimbangkan sama ada dataset menyediakan data yang anda perlukan atau sama ada anda perlu menyegerakan data dalam beberapa cara untuk mendapatkan hasil yang diinginkan.
- Periksa kedua-dua dataset untuk isu jenis data. Satu dataset mungkin mempunyai input tarikh sebagai rentetan, dan satu lagi mungkin mempunyai input tarikh sebagai objek tarikh sebenar. Ketidakserasian antara jenis data akan menyebabkan masalah untuk algoritma yang menjangkakan data dalam satu bentuk dan menerimanya dalam yang lain.
- Pastikan semua dataset meletakkan makna yang sama pada elemen data. Data yang dihasilkan oleh satu sumber mungkin mempunyai makna yang berbeza daripada data yang dicipta oleh sumber lain. Sebagai contoh, saiz integer boleh berbeza-beza merentas sumber, jadi anda mungkin melihat integer 16-bit dari satu sumber dan integer 32-bit dari yang lain. Nilai yang lebih rendah mempunyai makna yang sama, tetapi integer 32-bit boleh mengandungi nilai yang lebih besar, yang boleh menyebabkan masalah dengan algoritma. Tarikh juga boleh menyebabkan masalah kerana mereka sering bergantung pada menyimpan banyak milisaat sejak tarikh tertentu (seperti JavaScript, yang menyimpan jumlah milisaat sejak 01 Januari, 1970 UTC). Komputer hanya melihat nombor; manusia menambah makna kepada nombor ini supaya aplikasi menafsirkannya dengan cara tertentu.
- Sahkan atribut data. Item data mempunyai atribut khusus. Tafsiran ini boleh berubah apabila menggunakan
numpy. Malah, anda mendapati bahawa atribut data berubah di antara persekitaran, dan pemaju boleh mengubahnya dengan lebih banyak lagi dengan membuat jenis data tersuai. Untuk menggabungkan data dari pelbagai sumber, anda mesti memahami sifat-sifat ini untuk memastikan anda mentafsirkan data dengan betul.
Lebih banyak masa yang anda habiskan untuk mengesahkan keserasian data dari setiap sumber yang anda ingin gunakan untuk dataset, semakin kecil kemungkinannya anda menghadapi masalah ketika bekerja dengan algoritma. Isu tidak kompatibel data tidak selalu muncul sebagai kesilapan langsung. Dalam beberapa kes, ketidaksesuaian boleh menyebabkan isu-isu lain, seperti keputusan yang salah yang kelihatan betul tetapi memberikan maklumat yang mengelirukan.
Menggabungkan data dari pelbagai sumber mungkin tidak selalu bermaksud membuat dataset baru yang kelihatan tepat seperti dataset sumber, sama ada. Dalam sesetengah kes, anda membuat agregat data atau melakukan manipulasi bentuk lain untuk mencipta data baru dari data sedia ada. Analisis mengambil pelbagai bentuk, dan beberapa bentuk yang lebih eksotik dapat menghasilkan ralat yang sangat berat apabila digunakan secara salah. Contohnya, satu sumber data dapat memberikan maklumat pelanggan umum dan sumber data kedua dapat memberikan tabiat pembelian pelanggan. Ketidaksesuaian antara kedua-dua sumber mungkin sepadan dengan pelanggan dengan maklumat tabiat membeli yang salah dan menyebabkan masalah apabila anda cuba memasarkan produk baru kepada pelanggan ini. Sebagai contoh yang melampau, pertimbangkan apa yang akan terjadi apabila menggabungkan maklumat pesakit dari beberapa sumber dan buat gabungan entri pesakit dalam sumber data baru dengan pelbagai ketidakcocokan. Seorang pesakit tanpa sejarah penyakit tertentu boleh berakhir dengan rekod yang menunjukkan diagnosis dan penjagaan penyakit.
