Mengikis, Mengumpul dan Mengendalikan Alat Sains Data - dummies

Sama ada anda memerlukan data untuk menyokong analisis perniagaan atau sekeping kewartawanan yang akan datang, pengikisan web dapat membantu anda mengesan sumber data yang menarik dan unik. Dalam web-scraping anda menyediakan program automatik dan kemudian biarkan mereka menjelajahi web untuk data yang anda perlukan. Berikut adalah alat percuma szome yang boleh anda gunakan untuk mengikis data atau imej, termasuk import. io, ImageQuilts, dan DataWrangler.

Mengikis data dengan import. io

Pernahkah anda cuba menyalin dan menampal meja dari web ke dalam dokumen Microsoft Office dan kemudian tidak dapat mendapatkan lajur untuk disesuaikan dengan betul? Frustasi, bukan? Ini betul-betul titik kesakitan yang diimport. io direka untuk menangani.

import. io - diucapkan "import-eye-oh" - adalah aplikasi desktop percuma yang boleh digunakan untuk menyalin, menyisipkan, bersih, dan memformat secara tidak sengaja setiap bahagian laman web dengan hanya beberapa klik tetikus. Anda juga boleh menggunakan import. io secara automatik merangkak dan mengeluarkan data dari senarai berbilang halaman.

Menggunakan import. io, anda boleh mengikis data dari laman sesawang mudah atau rumit:

• Sederhana: Akses laman web melalui hyperlink yang mudah yang muncul pada Halaman 1, Page 2, Halaman 3.

• Complicated: > Isi borang atau pilih dari senarai drop-down, kemudian serahkan permintaan mengikis anda ke alat tersebut. import. Ciri yang paling mengesankan adalah keupayaan untuk memerhatikan klik tetikus anda untuk mengetahui apa yang anda mahukan, dan kemudian menawarkan cara yang dapat menyelesaikan tugas anda secara automatik untuk anda. Walaupun import. io belajar dan mencadangkan tugas, ia tidak mengambil tindakan ke atas tugas-tugas tersebut sehingga selepas anda menandakan cadangan itu betul. Akibatnya, interaksi yang diperkuat dengan manusia ini mengurangkan risiko bahawa mesin akan membuat kesimpulan yang salah kerana terlalu meneka.

Mengumpulkan imej dengan ImageQuilts

ImageQuilts adalah pelanjutan Chrome yang dibangunkan sebahagian oleh legenda Edward Tufte, salah satu pelopor besar pertama dalam visualisasi data - dia mempopularkan penggunaan data-ke- nisbah dakwat untuk menilai keberkesanan carta.

Tugas yang dilakukan ImageQuilts adalah mudah mudah untuk diterangkan tetapi sangat kompleks untuk dilaksanakan. ImageQuilts membuat kolaj berpuluh-puluh imej dan memotong mereka semua bersama-sama menjadi satu "selimut" yang terdiri daripada pelbagai baris ketinggian yang sama. Tugas ini boleh menjadi rumit kerana imej sumber hampir tidak sama dengan ketinggian yang sama. ImageQuilts scrapes dan mengubah ukuran imej sebelum menjahit mereka bersama-sama menjadi satu imej output.

Kuilt imej yang ditunjukkan diperoleh daripada "Dilabel untuk Digunakan" carian Google Imej istilah

data sains . ImageQuilts juga membolehkan anda untuk memilih susunan imej atau untuk meramalkannya. Anda boleh menggunakan alat ini untuk menyeret dan menjatuhkan mana-mana imej ke mana-mana tempat, mengeluarkan imej, zum semua imej pada masa yang sama, atau zum setiap imej secara individu.

Anda juga boleh menggunakan alat ini untuk rahsia antara warna imej - dari warna ke skala kelabu atau warna terbalik (yang berguna untuk membuat helaian kenalan negatif, jika anda adalah salah seorang daripada orang-orang yang jarang yang masih memproses analog-fotografi).

Data Wrangling dengan DataWrangler

DataWrangler adalah alat dalam talian yang disokong oleh Lab Data Interaktif Universiti Washington (pada masa DataWrangler dibangunkan, kumpulan ini dipanggil Kumpulan Visualisasi Stanford). Kumpulan yang sama ini mengembangkan Lyra, persekitaran visualisasi data interaktif yang dapat anda gunakan untuk membuat visualisasi kompleks tanpa pengalaman pengaturcaraan.

Jika matlamat anda adalah

mengukir dataset anda - atau membersihkan perkara dengan menggerakkan sesuatu di sekeliling seperti seorang pengukir akan (memecah bahagian ini dalam dua, slice off itu sedikit dan bergerak ke sana, tolak ini jadi segala-galanya di bawahnya akan dipindahkan ke kanan, dan sebagainya) - DataWrangler adalah alat untuk anda. Anda boleh melakukan manipulasi dengan DataWrangler sama seperti yang anda boleh lakukan dalam Excel menggunakan Visual Basic. Sebagai contoh, anda boleh menggunakan DataWrangler atau Excel dengan Visual Basic untuk menyalin, menyisipkan, dan memformat maklumat dari senarai di Internet.

DataWrangler bahkan mencadangkan tindakan berdasarkan dataset anda dan boleh mengulangi tindakan kompleks di seluruh dataset - tindakan seperti menghapus baris yang dilangkau, memecah data dari satu lajur menjadi dua, atau mengubah header ke dalam data lajur. DataWrangler juga boleh menunjukkan kepada anda di mana data anda tiada data.

Data yang hilang dapat menunjukkan ralat pemformatan yang perlu dibersihkan.