Bagaimana Menyediakan Data untuk Model Analisis Ramalan - dummies

Apabila anda telah menentukan objektif model untuk analisis ramalan, langkah seterusnya adalah untuk mengenal pasti dan menyediakan data yang akan anda gunakan untuk membina model anda. Urutan langkah-langkah umum kelihatan seperti ini:

1. Kenal pasti sumber data anda.

   Data mungkin dalam format yang berbeza atau berada di pelbagai lokasi.

2. Kenal pasti bagaimana anda akan mengakses data tersebut.

   Kadangkala, anda perlu memperoleh data pihak ketiga, atau data yang dimiliki oleh pembahagian yang berbeza dalam organisasi anda, dan lain-lain.

3. Pertimbangkan pembolehubah mana yang perlu disertakan dalam analisis anda.

   Satu pendekatan standard adalah bermula dengan pelbagai pembolehubah dan menghapuskan yang tidak menawarkan nilai ramalan bagi model.

4. Tentukan sama ada menggunakan pembolehubah yang diperoleh.

   Dalam banyak kes, pembolehubah yang diperoleh (seperti nisbah harga per penghasilan yang digunakan untuk menganalisis harga saham) akan mempunyai kesan langsung yang lebih besar terhadap model daripada pemboleh ubah mentah.

5. Terokai kualiti data anda, berusaha memahami keadaan dan batasannya.

   Ketepatan ramalan model secara langsung berkaitan dengan pembolehubah yang anda pilih dan kualiti data anda. Anda ingin menjawab beberapa soalan spesifik data pada ketika ini:

   • Adakah data selesai?

   • Adakah ia mempunyai kelebihan?

   • Adakah data perlu dibersihkan?

   • Adakah anda perlu mengisi nilai yang hilang, simpannya seperti itu, atau hapuskan semuanya?

Memahami data anda dan sifatnya boleh membantu anda memilih algoritma yang paling berguna dalam membina model anda. Sebagai contoh:

• Algoritma regresi boleh digunakan untuk menganalisis data siri masa.

• Pengelasan algoritma boleh digunakan untuk menganalisis data diskret.

• Algoritma persatuan boleh digunakan untuk data dengan atribut yang berkorelasi.

Dataset yang digunakan untuk melatih dan menguji model mesti mengandungi maklumat perniagaan yang relevan untuk menjawab masalah yang anda cuba selesaikan. Sekiranya matlamat anda adalah (contohnya) untuk menentukan pelanggan mana yang mungkin akan berpura-pura, maka dataset yang anda pilih mesti mengandungi maklumat mengenai pelanggan yang telah berprofesi pada masa lalu sebagai tambahan kepada pelanggan yang tidak mempunyai.

Sesetengah model yang dicipta untuk data saya dan memahami hubungan yang mendasari - contohnya, yang dibina dengan algoritma kluster - tidak perlu mempunyai keputusan akhir tertentu dalam fikiran.

Dua masalah timbul apabila berurusan dengan data semasa anda membina model anda: tidak sesuai dan lebih baik.

Tidak sesuai

Tidak sesuai adalah apabila model anda tidak dapat mengesan sebarang hubungan dalam data anda.Ini biasanya merupakan petunjuk bahawa pembolehubah penting - mereka yang mempunyai kuasa ramalan - tidak termasuk dalam analisis anda. Sebagai contoh, analisis saham yang merangkumi hanya data dari pasaran lembu (di mana harga saham keseluruhan naik) tidak menyumbang krisis atau gelembung yang boleh membawa pembetulan besar kepada keseluruhan prestasi saham.

Gagal memasukkan data yang merangkumi kedua-dua lembu dan pasaran beruang (apabila harga saham keseluruhan jatuh) membuat model itu daripada menghasilkan pemilihan portfolio terbaik.

Overfitting

Overfitting ialah apabila model anda termasuk data yang tidak mempunyai kuasa ramalan tetapi hanya khusus untuk dataset yang anda analisa. Noise - variasi rawak dalam dataset - boleh mencari jalan masuk ke dalam model, supaya menjalankan model pada dataset yang berbeza menghasilkan kejatuhan utama dalam prestasi dan ketepatan ramalan model. Sidebar yang disertakan memberikan contoh.

Jika model anda berfungsi dengan baik pada dataset tertentu dan hanya kurang baik apabila anda mengujinya pada dataset yang lain, mengesyaki yang terlalu banyak.