Video: Week 5, continued 2024
A dataset < (atau pengumpulan data) adalah satu set item dalam analisis ramalan. Sebagai contoh, satu set dokumen adalah kumpulan data di mana item data adalah dokumen. Satu set maklumat pengguna rangkaian sosial (nama, umur, senarai kawan, foto, dan sebagainya) adalah dataset di mana item data adalah profil pengguna rangkaian sosial. Pengklasifikasian Data
adalah tugas membahagikan dataset ke dalam subset dari item yang serupa. Item juga boleh dirujuk sebagai contoh, pemerhatian, entiti atau objek data. Dalam kebanyakan kes, dataset diwakili dalam format jadual - matriks data . Matriks data ialah jadual nombor, dokumen, atau ungkapan yang diwakili dalam baris dan lajur seperti berikut:
-
Baris kadang-kadang dirujuk sebagai
item, benda, contoh, atau pemerhatian. Setiap lajur mewakili ciri tertentu sesuatu item.
-
Lajur dirujuk sebagai
ciri atau atribut. Menerapkan clustering data ke dataset menjana kumpulan item data yang serupa. Kumpulan ini dipanggil
kluster - koleksi data data yang serupa.
Item serupa mempunyai hubungan yang kuat dan dapat diukur di antara mereka - sayuran segar, misalnya, lebih serupa antara satu sama lain daripada makanan beku - dan teknik pengelompokan menggunakan hubungan itu dengan kumpulan barang-barang tersebut. Kekuatan hubungan antara dua atau lebih item boleh diukur sebagai ukuran
kesamaan: Fungsi matematik mengira korelasi antara dua item data. Hasil perhitungan itu, yang disebut nilai kesamaan, pada dasarnya membandingkan item data tertentu untuk semua item lain dalam dataset. Barang-barang lain akan lebih mirip atau kurang serupa dibandingkan dengan item tertentu itu.
kluster ). Setiap kumpulan mempunyai item yang mewakilinya; perkara ini dirujuk sebagai wakil kluster . Pertimbangkan satu dataset yang terdiri daripada beberapa jenis buah dalam bakul. Bakul ini mempunyai buah-buahan pelbagai jenis seperti epal, pisang, lemon, dan pir. Dalam kes ini, buah adalah barang data. Proses clustering data mengekstrak kumpulan buah-buahan yang serupa daripada dataset ini (bakul buah-buahan yang berbeza). Langkah pertama dalam proses clustering data adalah untuk menterjemahkan dataset ini ke dalam matriks data: Satu cara untuk memodelkan dataset ini adalah untuk mempunyai baris mewakili item dalam dataset (buah); dan lajur mewakili ciri, atau ciri, yang menggambarkan item.
Sebagai contoh, ciri buah boleh menjadi jenis buah (seperti pisang atau epal), berat, warna, atau harga. Dalam dataset contoh ini, item mempunyai tiga ciri: jenis buah, warna, dan berat badan.
Dalam kebanyakan kes, menggunakan teknik kluster data untuk kumpulan data buah seperti yang dijelaskan di atas membolehkan anda
Ambil kumpulan (kelompok) item serupa.
Anda boleh tahu bahawa buah anda adalah dari kumpulan N. Selepas itu, jika anda memilih buah secara rawak, anda akan dapat membuat kenyataan mengenai item itu sebagai sebahagian daripada salah satu kumpulan N.
-
Ambil wakil kelompok setiap kumpulan. Dalam contoh ini, wakil kelompok akan memilih satu jenis buah dari bakul dan meletakkannya. Ciri-ciri buah ini adalah sedemikian rupa sehingga buah yang paling baik mewakili kumpulan itu.
-
Apabila anda selesai clustering, dataset anda diorganisasikan dan dibahagikan kepada kumpulan semula jadi. Pengklasifikasian data mendedahkan struktur dalam data dengan mengekstrak kumpulan semula jadi dari dataset. Oleh itu menemui kumpulan adalah satu langkah penting untuk merumuskan idea-idea dan hipotesis mengenai struktur data anda dan mendapatkan pandangan untuk lebih memahaminya.
Pengumpulan data juga boleh menjadi satu cara untuk memodelkan data: Ia mewakili kumpulan data yang lebih besar oleh kluster atau wakil kelompok.
Di samping itu, analisis anda mungkin mencari sekadar untuk memisahkan data ke dalam kumpulan yang serupa item - seperti ketika
segmentasi pasaran
memilahkan data sasaran pasaran ke dalam kumpulan seperti Konsumen yang berkongsi minat yang sama (seperti masakan Mediterranean) Pengguna yang mempunyai keperluan yang sama (contohnya, mereka yang mempunyai alahan makanan tertentu)
-
Mengenal pasti kelompok pelanggan yang serupa dapat membantu anda mengembangkan strategi pemasaran yang memenuhi keperluan kluster tertentu.
-
Selain itu, clustering data juga boleh membantu anda mengenal pasti, mempelajari, atau meramalkan sifat item data baru - terutamanya bagaimana data baru boleh dikaitkan dengan membuat ramalan. Sebagai contoh, pengenalan corak
dalam pola, menganalisis corak dalam data (seperti corak belian di kawasan tertentu atau kumpulan umur) dapat membantu anda mengembangkan analisis ramalan - dalam hal ini, meramalkan sifat item data masa depan yang dapat sesuai dengan corak yang mantap.
Contoh bakul buah menggunakan kluster data untuk membezakan antara item data yang berbeza. Katakan perniagaan anda memasang bakul buah-buahan khusus, dan buah-buahan baru yang tidak dikenali diperkenalkan ke pasaran. Anda ingin mengetahui atau meramalkan kluster yang mana item baru akan dimiliki jika anda menambahnya kepada bakul buah. Oleh kerana anda telah menggunakan kluster data kepada dataset buah, anda mempunyai empat kluster - yang menjadikan lebih mudah untuk meramalkan kluster mana (jenis buah tertentu) sesuai untuk item baru. Apa yang anda perlu lakukan adalah membandingkan buah yang tidak diketahui kepada wakil-wakil kumpulan empat yang lain dan kenalpasti cluster mana yang terbaik. Walaupun proses ini mungkin kelihatan jelas bagi seseorang yang bekerja dengan dataset kecil, ia tidak terlalu jelas pada skala yang lebih besar - apabila anda perlu mengumpul jutaan item tanpa memeriksa masing-masing.Kerumitan menjadi eksponen apabila dataset besar, pelbagai, dan agak tidak sepadan - itulah sebabnya algoritma pengelompokan ada: Komputer melakukan jenis kerja yang terbaik.
