Perlombongan data - dummies - Kewangan Peribadi 2024

Ciri yang membezakan mengenai perlombongan data, berbanding dengan pertanyaan, pelaporan, atau bahkan OLAP, adalah bahawa anda boleh mendapatkan maklumat tanpa perlu bertanya soalan tertentu.

Perlombongan data berfungsi dua peranan utama dalam misi perisikan perniagaan anda:

Peranan "Beritahu saya apa yang mungkin berlaku": Peranan pertama perlombongan data adalah ramalan, di mana anda pada dasarnya berkata, "Beritahu saya apa mungkin berlaku. "Menggunakan pengetahuan tersembunyi yang terkunci dalam gudang data anda, kebarangkalian dan kemungkinan trend dan kejadian masa depan akan disampaikan kepada anda.
Peranan "Beritahu saya sesuatu yang menarik": Di samping kemungkinan kejadian dan kejadian masa depan, perlombongan data juga cuba menarik maklumat menarik yang mungkin anda ketahui, seperti hubungan luar biasa antara jualan dua produk berbeza dan bagaimana hubungan itu berbeza mengikut penempatan di kedai runcit anda.

Walaupun banyak tidbit menarik yang mungkin wujud, apakah soalan yang akan anda tanyakan jika anda menggunakan alat pertanyaan atau OLAP, dan bagaimana anda akan mentafsirkan hasilnya? Perlombongan data membantu anda dalam tugas sukar ini untuk mencari tahu soalan-soalan yang boleh ditanya dengan melakukan banyak kerja menggigit untuk anda.

Perlombongan data dalam misi perniagaan tertentu

Perlombongan data sangat sesuai untuk jenis misi perniagaan tertentu:

Mengesan penipuan
Menentukan keberkesanan program pemasaran
Memilih siapa, dari asas pelanggan yang besar atau penduduk umum, anda harus menargetkan sebagai sebahagian dari program pemasaran
Menguruskan kitar hayat pelanggan, termasuk misi retensi pelanggan
Melakukan pemodelan proses perniagaan yang lebih maju dan senario apa-jika

Fikirkan tentang apa yang ada di belakang setiap misi perniagaan dalam senarai terdahulu:

Sejumlah besar data
Lebih besar bilangan gabungan pelbagai keping data
Analisis set keputusan intensif, biasanya melibatkan algoritma kompleks dan teknik statistik lanjutan

Sekarang, fikirkan tentang apa yang perlu anda lakukan jika anda menggunakan alat pelaporan atau OLAP untuk mencapai misi ini. Anda akan mendapati hampir mustahil untuk melakukan apa-apa misi sebelum ini jika anda perlu bertanya dan mendapatkan hasilnya, tanya soalan lain dan dapatkan hasil yang lain, dan kemudian teruskan langkah-langkah tersebut.

Perlombongan data dan kepintaran buatan

Jika anda telah berada di bidang teknologi maklumat (IT) selama sekurang-kurangnya satu dekad, beberapa istilah sebelum ini mungkin terdengar samar-samar.Membuka kunci pengetahuan tersembunyi? Fungsi ramalan? Tunggu sebentar - kecerdasan buatan itu!

Dari hari-hari awal pengkomputeran komersial, terdapat minat yang besar dalam membangunkan "mesin pemikiran" yang dapat memproses sejumlah besar data dan membuat keputusan berdasarkan analisis itu.

Kepentingan dalam kecerdasan buatan (AI) memukul puncaknya pada pertengahan 1980-an. Pada masa itu, vendor pangkalan data bekerja menghasilkan sistem pengurusan asas pengetahuan (KBMS); vendor lain keluar menggunakan kerangka sistem pakar , atau atau rangka kerja pembangunan aplikasi yang berasaskan AI yang menggunakan teknik-teknik seperti forward-chaining dan back-chaining untuk menasihati pengguna mengenai keputusan; dan rangkaian saraf diletakkan sebagai perkembangan AI yang akan datang.

Kepentingan dalam AI merosot pada awal 1990-an, apabila jangkaan melebihi keupayaan yang tersedia dan kegilaan yang lain, seperti migrasi pelanggan / pelayan dan (tentu saja) pergudangan data, mengambil peringkat tengah.

Sekarang, AI sudah kembali!

Teknik AI berprofil tinggi yang digunakan dalam perlombongan data adalah rangkaian saraf. Jaring neural pada asalnya dibayangkan sebagai model pemprosesan yang akan meniru cara otak manusia menyelesaikan masalah, menggunakan neuron dan pemprosesan yang sangat selari untuk melakukan penyelesaian pola.

Memohon algoritma rangkaian neural ke bidang perisikan perniagaan yang mengendalikan data perlombongan (sekali lagi, ramalan dan "memberitahu saya sesuatu yang menarik" misi) nampaknya perlawanan semulajadi.

Walaupun permainan perlombongan / permainan rangkaian saraf pasti bernilai diperiksa, anda perlu melakukannya dengan teliti. Anda boleh menemui banyak teknologi yang menarik dan menarik yang, di tangan mereka yang tidak memahami algoritma, mungkin akan gagal.

Walau bagaimanapun, dengan pengetahuan dan pendidikan yang betul, anda boleh membuat komitmen penuh untuk membawa pemprosesan jenis ini ke dalam kerangka risikan perniagaan anda sebagai pasangan analisis teknikal untuk analisis perniagaan OLAP yang difokuskan.

Perlombongan dan statistik data

Kawasan perlombongan data yang lebih matang adalah penerapan teknik statistik lanjutan terhadap jumlah besar data dalam gudang data anda. Alat yang berbeza menggunakan pelbagai jenis teknik statistik, disesuaikan dengan bidang tertentu yang mereka cuba alamat.

Tanpa latar belakang statistik, anda mungkin mendapati banyak perlombongan data yang mengelirukan. Anda perlu melakukan banyak kerja untuk melatih algoritma dan membina peraturan untuk memastikan hasil yang tepat dengan dataset yang lebih besar. Walau bagaimanapun, dengan mengandaikan bahawa anda selesa dengan konsep ini, atau mempunyai rakan sekerja yang boleh membantu, berikut adalah beberapa algoritma yang lebih meluas:

Algoritma pengklasifikasian: Meramalkan satu atau lebih pembolehubah diskret, berdasarkan yang lain atribut dalam dataset. Dengan menggunakan algoritma klasifikasi, alat perlombongan data boleh melihat sejumlah besar data dan kemudian memberitahu anda bahawa, misalnya, "Pelanggan yang dikekalkan melalui sekurang-kurangnya dua generasi pembelian produk cenderung mempunyai ciri-ciri ini: Mereka mempunyai pendapatan pada kurangnya $ 75,000, dan mereka memiliki rumah mereka sendiri."
Algoritma regresi: Ramalkan satu atau lebih pemboleh ubah berterusan, seperti keuntungan atau kerugian, berdasarkan sifat-sifat lain dalam dataset. Algoritma regresi digerakkan melalui maklumat sejarah yang dibentangkan kepada alat perlombongan data "dari masa ke masa," yang lebih dikenali sebagai maklumat siri siri masa .
Algoritma segmenasi: Bahagikan data ke dalam kumpulan, atau kelompok, item yang mempunyai sifat yang serupa.
Algoritma Persatuan: Cari korelasi antara atribut yang berbeza dalam dataset. Aplikasi algoritma jenis yang paling umum ini mewujudkan peraturan persatuan, yang boleh anda gunakan dalam analisis keranjang pasar. Ambil perhatian bahawa, sebagai contoh, jika pelanggan membeli pakej perisian tertentu, dia mempunyai peluang 65 peratus untuk membeli sekurang-kurangnya dua pek tambahan produk khusus dalam masa dua minggu.
Algoritma analisis urutan: Huraikan urutan atau episod yang kerap dalam data, seperti aliran laluan web.