Data Perlombongan untuk Data Big - dummies

Penambangan data melibatkan meneroka dan menganalisis sejumlah besar data untuk mencari corak untuk data besar. Teknik ini keluar dari bidang statistik dan kecerdasan buatan (AI), dengan sedikit pengurusan pangkalan data yang dibuang ke dalam campuran.

Secara umumnya matlamat perlombongan data adalah sama ada klasifikasi atau ramalan. Dalam klasifikasi, idea itu adalah untuk menyusun data ke dalam kumpulan. Sebagai contoh, seorang pemasar mungkin berminat dengan ciri-ciri mereka yang bertindak balas berbanding siapa yang tidak bertindak balas terhadap promosi.

Ini adalah dua kelas. Dalam ramalan, idea ini adalah untuk meramalkan nilai pembolehubah berterusan. Sebagai contoh, seorang pemasar mungkin berminat untuk meramalkan mereka yang akan memberi respons kepada promosi. Algoritma tipikal yang digunakan dalam perlombongan data termasuk berikut: Pokok pengklasifikasian:

Teknik perlombongan data popular yang digunakan untuk mengelaskan pembolehubah kategoris bergantung berdasarkan pengukuran satu atau lebih pemboleh ubah ramalan. Hasilnya adalah pokok dengan nod dan hubungan antara nod yang dapat dibaca untuk membentuk peraturan jika-kemudian.

• Regresi logistik:
  Teknik statistik yang merupakan variasi regresi standard tetapi memperluaskan konsep untuk menangani klasifikasi. Ia menghasilkan formula yang meramalkan kebarangkalian kejadian sebagai fungsi pembolehubah bebas.

• Rangkaian saraf: Algoritma perisian yang dimodelkan selepas seni bina selari otak haiwan. Rangkaian terdiri daripada nod input, lapisan tersembunyi, dan nod output. Setiap unit diberikan berat. Data diberikan kepada nod input, dan oleh sistem percubaan dan kesilapan, algoritma menyesuaikan berat sehingga memenuhi kriteria berhenti tertentu. Sesetengah orang telah menyamakan ini dengan pendekatan kotak hitam.

• Teknik kluster seperti K-terdekat jiran:
  Teknik yang mengenal pasti kumpulan rekod yang serupa. Teknik jiran terdekat K menghitung jarak antara rekod dan mata dalam data sejarah (latihan). Ia kemudiannya menyerahkan rekod ini kepada kelas jiran terdekatnya dalam set data.

• Berikut adalah contoh pokok klasifikasi. Pertimbangkan keadaan di mana syarikat telefon mahu menentukan pelanggan kediaman mana yang mungkin akan memutuskan sambungan perkhidmatan mereka. Syarikat telefon mempunyai maklumat yang terdiri daripada atribut-atur yang berikut: berapa lama orang itu mempunyai perkhidmatan, berapa banyak dia menghabiskan perkhidmatan, sama ada perkhidmatan itu bermasalah, sama ada dia mempunyai rancangan panggilan terbaik yang dia perlukan, di mana dia nyawa, berapa umurnya, sama ada dia mempunyai perkhidmatan lain yang disatukan, maklumat persaingan mengenai pelan penerbangan lain, dan sama ada dia masih mempunyai perkhidmatan.

Sudah tentu, anda boleh menemui lebih banyak atribut daripada ini. Atribut terakhir adalah pemboleh ubah hasil; ini adalah apa yang akan digunakan oleh perisian untuk mengklasifikasikan pelanggan menjadi salah satu daripada dua kumpulan - mungkin dipanggil penumpang dan risiko penerbangan.

Set data dipecah ke dalam data latihan dan satu set data ujian. Data latihan terdiri daripada pemerhatian (disebut atribut) dan pemboleh ubah hasil (binari dalam kes model klasifikasi) - dalam kes ini, penghuni atau risiko penerbangan.

Algoritma dijalankan melalui data latihan dan menghasilkan sebuah pohon yang boleh dibaca seperti satu siri peraturan. Misalnya, jika pelanggan telah bersama syarikat itu selama lebih dari sepuluh tahun dan mereka berusia lebih dari 55 tahun, mereka mungkin tetap sebagai pelanggan setia.

Peraturan ini kemudian dijalankan di atas set data ujian untuk menentukan betapa baiknya model ini pada "data baru. "Ukuran ketepatan diberikan untuk model. Sebagai contoh, teknik popular adalah matriks kekeliruan. Matriks ini adalah jadual yang memberikan maklumat tentang berapa banyak kes yang betul berbanding dengan salah diklasifikasikan.

Jika model kelihatan baik, ia boleh digunakan pada data lain, kerana ia tersedia (iaitu, menggunakannya untuk meramalkan kes baru risiko penerbangan). Berdasarkan model, syarikat itu mungkin membuat keputusan, sebagai contoh, untuk menghantar tawaran istimewa kepada pelanggan yang difikirkannya adalah risiko penerbangan.