Menyediakan Data Anda untuk Analytics Ramalan - dummies

Apabila anda telah menentukan objektif model, langkah seterusnya dalam analisis ramalan adalah untuk mengenal pasti dan menyediakan data yang akan anda gunakan untuk membina model anda. Maklumat berikut menyentuh aktiviti yang paling penting. Urutan langkah-langkah umum kelihatan seperti ini:

Kenal pasti sumber data anda.

Data mungkin dalam format yang berbeza atau berada di pelbagai lokasi.
Kenal pasti bagaimana anda akan mengakses data tersebut.

Kadangkala, anda perlu memperoleh data pihak ketiga, atau data yang dimiliki oleh pembahagian yang berlainan dalam organisasi anda, dsb.
Pertimbangkan pembolehubah yang termasuk dalam analisis anda.
Satu pendekatan standard adalah bermula dengan pelbagai pembolehubah dan menghapuskan yang tidak menawarkan nilai ramalan untuk model itu.
Tentukan sama ada menggunakan pembolehubah yang diperolehi.

Dalam banyak kes, pembolehubah yang diperoleh (seperti nisbah harga per penghasilan yang digunakan untuk menganalisis harga saham) akan mempunyai kesan langsung yang lebih besar terhadap model daripada pemboleh ubah mentah.
Jelajah dengan kualiti data anda, berusaha memahami kedua-dua negeri dan batasannya.

Ketepatan ramalan model secara langsung berkaitan dengan pembolehubah yang anda pilih dan kualiti data anda. Anda ingin menjawab beberapa soalan spesifik data pada ketika ini:
- Adakah data selesai?
- Adakah ia mempunyai kelebihan?
- Adakah data perlu dibersihkan?
- Adakah anda perlu mengisi nilai yang hilang, simpannya seperti itu, atau hapuskan semuanya?

Memahami data anda dan sifatnya boleh membantu anda memilih algoritma yang paling berguna dalam membina model anda. Sebagai contoh:

Algoritma regresi boleh digunakan untuk menganalisis data siri masa.
Pengelasan algoritma boleh digunakan untuk menganalisis data diskret.
Algoritma persatuan boleh digunakan untuk data dengan atribut yang berkorelasi.

Algoritma individu dan teknik ramalan mempunyai kelemahan dan kekuatan yang berlainan. Yang paling penting, ketepatan model bergantung pada kuantiti dan kualiti data. Data anda sepatutnya mempunyai bilangan catatan yang mencukupi untuk memberikan hasil yang bermakna secara statistik.

Mengumpul data yang relevan (lebih banyak rekod dalam tempoh yang lama), memproses semula dan mengekstrak ciri-ciri dengan nilai-nilai yang paling ramal adalah di mana anda menghabiskan sebahagian besar masa anda. Tetapi anda masih perlu memilih algoritma dengan bijak, satu algoritma yang sepatutnya sesuai dengan masalah perniagaan.

Penyediaan data adalah khusus untuk projek yang anda sedang kerjakan dan algoritma yang anda pilih untuk digunakan.Bergantung pada keperluan projek, anda akan menyediakan data anda dengan sewajarnya dan memberi suapan kepada algoritma semasa anda membina model anda untuk menangani keperluan perniagaan.

Dataset yang digunakan untuk melatih dan menguji model mesti mengandungi maklumat perniagaan yang relevan untuk menjawab masalah yang anda cuba selesaikan. Sekiranya matlamat anda adalah (contohnya) untuk menentukan pelanggan mana yang mungkin berpura-pura, maka dataset yang anda pilih mestilah mengandungi maklumat tentang pelanggan yang telah membuat keputusan pada masa lalu sebagai tambahan kepada pelanggan yang tidak.

Sesetengah model yang dicipta untuk data saya dan memahami hubungan yang mendasari - contohnya, yang dibina dengan algoritma kluster - tidak perlu mempunyai keputusan akhir tertentu dalam fikiran.

Tidak sesuai

Tidak sesuai adalah apabila model anda tidak dapat mengesan sebarang hubungan dalam data anda. Ini biasanya merupakan petunjuk bahawa pembolehubah penting - mereka yang mempunyai kuasa ramalan - tidak termasuk dalam analisis anda.

Jika pembolehubah yang digunakan dalam model anda tidak mempunyai kuasa ramalan yang tinggi, maka cuba tambah pemboleh ubah khusus domain baru dan jalankan semula model anda. Matlamat akhir adalah untuk meningkatkan prestasi model pada data latihan.

Isu lain yang perlu diperhatikan ialah bermusim (apabila anda mempunyai corak bermusim, jika anda gagal menganalisis berbilang musim, anda mungkin mengalami masalah.) Sebagai contoh, analisis saham yang merangkumi hanya data dari banteng pasaran (di mana harga saham keseluruhan naik) tidak menyumbang krisis atau buih yang boleh membawa pembetulan utama kepada keseluruhan prestasi saham. Gagal untuk memasukkan data yang membentangkan kedua-dua lembu dan pasaran beruang (apabila harga saham keseluruhan jatuh) membuat model ini menghasilkan pemilihan portfolio terbaik.

Overfitting

Overfitting ialah apabila model anda termasuk data yang tidak mempunyai kuasa ramalan tetapi ia hanya khusus untuk dataset yang anda analisa. Kebisingan - variasi rawak dalam dataset - boleh mencari jalan ke dalam model, supaya menjalankan model pada dataset yang berbeza menghasilkan kejatuhan utama dalam prestasi dan ketepatan ramalan model.