Menyaring Data yang Anda Perlukan - dummies

Apabila anda adalah perlombongan data, kadangkala anda akan mempunyai lebih banyak data daripada yang anda perlukan untuk projek yang diberikan. Berikut adalah cara untuk mengurangkan apa yang anda perlukan.

Menyempitkan medan

Apabila anda mempunyai banyak pemboleh ubah dalam dataset, sukar untuk mencari atau melihat orang yang menarik minat anda. Dan sekiranya dataset anda adalah besar, dan anda tidak memerlukan semua pemboleh ubah, mengekalkan ekstra menyerap sumber yang tidak perlu. Jadi, anda kadang-kadang perlu menyimpan beberapa pemboleh ubah dan menggugurkan orang lain. Angka ini menunjukkan contoh dalam KNIME, di mana alat yang betul dipanggil Penapis Lajur.

Persediaan contoh untuk alat ini ditunjukkan dalam angka berikut.

Untuk menyempitkan bidang, cari alatan pemilihan yang berubah-ubah dalam aplikasi perlombongan data anda; ini dijumpai dengan alat lain untuk manipulasi data. Sama seperti alat perlombongan data lain, nama-nama berbeza dari produk ke produk. Cari variasi pada medan lajur, pembolehubah, atau , dan pilihan atau penapisan.

Memilih kes yang berkaitan

Kes dengan data tidak lengkap boleh ditapis sebelum membina model. Mengeluarkan kes yang tidak lengkap adalah satu contoh umum pemilihan data, atau penapisan.

Tetapi bagaimana anda memilih hanya kes yang relevan untuk setiap segmen yang menarik minat anda? Anda akan menggunakan alat pemilihan data.

Angka berikut menunjukkan alat pemilihan data dalam aplikasi penambangan data lain.

Angka seterusnya menunjukkan bagaimana anda akan menyediakan alat tersebut untuk pilihan lain, ini berdasarkan nilai pembolehubah.

Sudah biasa untuk menggunakan pemilihan data jenis ini, dan beberapa aplikasi menyediakan pelbagai fungsi terbina dalam untuk membantu anda menentukan tepat kes-kes yang anda inginkan. Yang ini mempunyai beberapa ciri yang luar biasa; ia memaparkan statistik ringkasan untuk pemboleh ubah dan memberitahu anda dengan tepat berapa kes yang memenuhi kriteria pemilihan.

Kebanyakan aplikasi penambangan data mempunyai alat untuk memilih hanya kes yang anda perlukan. Lihat dalam menu (atau cari) untuk penapis pilih atau .

Pensampelan

Satu pendapat yang popular pada hari ini ialah data yang lebih banyak adalah data yang lebih baik. Ini bukan idea baru. Aplikasi pertambangan data selalu dikembangkan untuk bekerja dengan jumlah data yang besar. Malah nama "perlombongan data" mencadangkan sejumlah besar. Tetapi selalunya, bekerja dengan sampel data anda akan memberikan maklumat yang sama berguna, membuat kerja anda lebih mudah, dan menjimatkan masa dan sumber anda.

Pensampelan memainkan peranan penting dalam perlombongan data. Sekiranya data itu seimbang bermakna model yang digunakan sama bilangan kes dalam setiap kumpulan yang dibandingkan (dalam contoh itu, kumpulan adalah sifat yang mengubah tangan dan sifat yang tidak), walaupun satu kumpulan mempunyai lebih banyak kes daripada lain dalam data asal.

Kemudian, data dipecahkan, dipisahkan menjadi satu subset untuk digunakan untuk melatih model dan yang lain untuk ujian. Menggunakan hanya sampel data dalam plot koordinat yang selari dapat memudahkan pandangan dan tafsiran. (Scatterplots dengan beribu-ribu poin boleh menjadi sukar untuk dibaca!) Mungkin yang paling penting dari semua, persampelan hanya mengurangkan jumlah data, jadi perkara berjalan lebih cepat.