Analisis Sentimen dengan analisis sentimen sosial Hadoop - dummies

Analisis sentimen sosial dengan mudah adalah yang paling overhyped menggunakan Hadoop, yang seharusnya tidak mengejutkan, memandangkan dunia sentiasa dihubungkan dan penduduk ekspresif kini. Kes penggunaan ini memanfaatkan kandungan dari forum, blog, dan sumber media sosial lain untuk membangunkan perasaan apa yang dilakukan oleh orang (misalnya, peristiwa hidup) dan bagaimana mereka bertindak balas kepada dunia di sekeliling mereka (sentimen).

Oleh kerana data berasaskan teks tidak masuk ke dalam pangkalan data relasional, Hadoop adalah tempat praktikal untuk meneroka dan menjalankan analitik pada data ini.

Bahasa adalah sukar untuk mentafsir, walaupun untuk manusia pada masa-masa - terutamanya jika anda membaca teks yang ditulis oleh orang dalam kumpulan sosial yang berbeza daripada anda sendiri. Kumpulan orang ini mungkin bercakap bahasa anda, tetapi ungkapan dan gaya mereka benar-benar asing, jadi anda tidak tahu sama ada mereka bercakap tentang pengalaman yang baik atau yang buruk.

Sebagai contoh, jika anda mendengar perkataan bom merujuk kepada filem, ini mungkin bermakna filem itu tidak baik (atau baik, jika anda adalah sebahagian daripada belia pergerakan yang menafsirkan "It's da bom" sebagai pujian); sudah tentu, jika anda berada di dalam perniagaan keselamatan syarikat penerbangan, perkataan bom mempunyai makna yang berbeza. Intinya ialah bahasa digunakan dalam pelbagai cara dan sentiasa berubah.

Apabila anda menganalisis sentimen di media sosial, anda boleh memilih dari pelbagai pendekatan. Kaedah asas pemrograman memfilter teks, cabutan, dan peraturan. Dalam situasi mudah, pendekatan ini adalah munasabah. Tetapi apabila keperluan berubah dan peraturan menjadi lebih rumit, pengekodan teks secara manual cepat menjadi tidak lagi dapat dilaksanakan dari perspektif penyelenggaraan kod, terutama untuk pengoptimuman prestasi.

Pendekatan tatabahasa dan peraturan berasaskan kepada pemprosesan teks adalah secara komputasi mahal, yang merupakan pertimbangan penting dalam pengekstrakan secara besar-besaran di Hadoop. Semakin banyak peraturan yang digunakan (yang tidak dapat dielakkan untuk tujuan kompleks seperti pengekstrakan sentimen), lebih banyak pemprosesan yang diperlukan.

Sebagai alternatif, pendekatan berasaskan statistik menjadi semakin biasa bagi analisis sentimen. Daripada menulis peraturan secara manual, anda boleh menggunakan model pembelajaran mesin berorientasikan klasifikasi di Apache Mahout. Menangkap di sini ialah anda perlu melatih model anda dengan contoh sentimen positif dan negatif. Semakin banyak data latihan yang anda berikan (sebagai contoh, teks dari tweet dan klasifikasi anda), lebih tepat hasil anda.

Kes penggunaan untuk analisis sentimen sosial boleh digunakan dalam pelbagai industri. Sebagai contoh, pertimbangkan keselamatan makanan: Cuba meramalkan atau mengenal pasti wabak penyakit bawaan makanan secepat mungkin adalah sangat penting kepada pegawai kesihatan.

Angka berikut menunjukkan aplikasi Hadoop yang berlabuh yang memikat tweet menggunakan pengekstrak berdasarkan penyakit berpotensi: FLU atau MAKANAN POISONING.

Adakah anda melihat peta haba yang dihasilkan yang menunjukkan lokasi geografi tweet? Satu ciri data dalam dunia data besar ialah kebanyakannya adalah spatially diperkayakan: Ia mempunyai maklumat wilayah (dan sifat-sifat temporal juga). Dalam kes ini, profil Twitter dibina semula dengan mencari lokasi yang diterbitkan.

Seperti ternyata, banyak akaun Twitter mempunyai lokasi geografi sebagai sebahagian daripada profil awam mereka (dan juga penafian yang menyatakan bahawa pemikiran mereka sendiri tidak bertentangan dengan majikan mereka).

Seberapa baik enjin ramalan media sosial untuk wabak selesema atau kejadian keracunan makanan? Pertimbangkan data sampel tanpa nama yang ditunjukkan. Anda dapat melihat bahawa isyarat media sosial menyuarakan semua petunjuk lain untuk meramalkan wabak flu di daerah U. S. tertentu pada musim panas dan musim gugur awal.

Contoh ini menunjukkan satu lagi manfaat yang diperoleh daripada menganalisis media sosial: Ia memberikan anda peluang yang tidak pernah terduga untuk melihat maklumat atribut dalam profil poster. Diberikan, apa yang orang katakan tentang diri mereka dalam profil Twitter mereka sering tidak lengkap (sebagai contoh, kod lokasi tidak diisi) atau tidak bermakna (kod lokasi mungkin mengatakan awan sembilan ).

Tetapi anda boleh belajar banyak tentang orang dari masa ke masa, berdasarkan apa yang mereka katakan. Sebagai contoh, seorang pelanggan mungkin mempunyai tweeted (disiarkan di Twitter) pengumuman kelahiran bayinya, gambar Instagram lukisan terbarunya, atau catatan Facebook yang menyatakan dia tidak boleh percaya perilaku Walter White pada malam terakhir Breaking Bad finale. Contoh dalam contoh ini, syarikat anda boleh mengekstrak peristiwa hidup yang memaparkan graf keluarga (anak baru adalah kemas kini yang berharga untuk profil Pengurusan Data Master berasaskan orang), hobi (lukisan), dan sifat minat (anda suka persembahan

Breaking Bad ). Dengan menganalisis data sosial dengan cara ini, anda mempunyai peluang untuk mencipta sifat peribadi dengan maklumat seperti hobi, hari lahir, peristiwa hayat, lokasi geografi (negara, negara, dan bandar contohnya), majikan, jantina, perkahwinan status, dan banyak lagi. Anggapkan seminit bahawa anda CIO sebuah syarikat penerbangan. Anda boleh menggunakan penyiaran pelancong yang gembira atau marah untuk bukan sahaja menentukan sentimen tetapi juga membuat profil pelanggan untuk program kesetiaan anda menggunakan maklumat media sosial.

Bayangkan betapa lebih baik anda boleh menargetkan bakal pelanggan dengan maklumat yang baru dikongsi - contohnya, e-mel memberitahu klien bahawa Musim 5

Breaking Bad

kini tersedia di sistem media pesawat atau mengumumkan bahawa kanak-kanak di bawah umur dua terbang secara percuma. Ini juga merupakan contoh yang baik tentang bagaimana sistem rekod (katakan, jualan atau pangkalan data langganan) dapat memenuhi sistem penglibatan (katakanlah, saluran sokongan). Walaupun penebusan ahli kesetiaan dan sejarah perjalanan berada dalam pangkalan data hubungan, sistem penglibatan dapat mengemas kini rekod (sebagai contoh, lajur).