Video: Data Mining using R | Data Mining Tutorial for Beginners | R Tutorial for Beginners | Edureka 2024
Alat sumber terbuka yang unik berguna dalam analisis ramalan adalah Apache Mahout. Perpustakaan pembelajaran komputer ini termasuk versi berskala kluster, klasifikasi, penapisan kerjasama, dan algoritma perlombongan data lain yang boleh menyokong model analisis ramalan berskala besar.
Cara yang sangat disyorkan untuk memproses data yang diperlukan untuk model sedemikian adalah untuk menjalankan Mahout dalam sistem yang sudah berjalan Hadoop. Hadoop menunjuk mesin induk yang mengagregatkan mesin lain (seperti Mesin peta dan Mengurangkan mesin) yang digunakan dalam pemprosesannya yang diedarkan. Mahout perlu dipasang pada mesin induk itu.
Bayangkan anda mempunyai banyak data yang disalurkan - artikel berita Google - dan anda ingin cluster mengikut topik, menggunakan salah satu daripada algoritma pengelompokan. Selepas anda memasang Hadoop dan Mahout, anda boleh melaksanakan salah satu daripada algoritma - seperti K-means - pada data anda.
Pelaksanaan K-means di bawah Mahout menggunakan pendekatan MapReduce, yang menjadikannya berbeza daripada pelaksanaan normal K-means. Mahout membahagikan algoritma K-berarti ke dalam sub-prosedur ini:
-
KmeansMapper membaca dataset input dan akan memberikan setiap titik input kepada cara yang paling awal yang dipilih (wakil kluster). Prosedur
-
KmeansCombiner akan mengambil semua rekod - pasang - dihasilkan oleh KmeansMapper dan menghasilkan jumlah separa untuk memudahkan pengiraan wakil cluster berikutnya.
-
KmeansReducer menerima nilai yang dihasilkan oleh semua subtask (kombinasi) untuk mengira centroids sebenar kluster yang merupakan keluaran akhir K-means.
-
KmeansDriver mengendalikan lelaran proses sehingga semua kluster telah berkumpul. Output daripada lelaran yang diberi, keluaran clustering separa, digunakan sebagai input untuk lelaran seterusnya. Proses pemetaan dan pengurangan dataset sehingga penugasan rekod dan kluster tidak menunjukkan perubahan selanjutnya.
Apache Mahout adalah projek yang baru dibangunkan; fungsinya masih banyak ruang untuk memuatkan sambungan. Sementara itu, Mahout telah menggunakan MapReduce untuk melaksanakan klasifikasi, clustering, dan teknik pembelajaran mesin lain - dan boleh melakukannya secara besar-besaran.
