Aliran aliran - dummies

Apabila data mengalir dalam keadaan besar jumlahnya, menyimpan semuanya mungkin sukar atau bahkan mustahil. Malah, menyimpan semuanya mungkin tidak berguna. Berikut adalah beberapa angka yang hanya boleh dijangkakan dalam satu minit di Internet:

• 150 juta e-mel dihantar
• 350, 000 tweet baru dihantar di Twitter
• 2. 4 juta pertanyaan yang diminta di Google
• 700, 000 orang log masuk ke akaun mereka di Facebook

Memandangkan jumlah itu, mengumpul data sepanjang hari untuk analisis tambahan mungkin kelihatan tidak cekap. Anda hanya menyimpannya di suatu tempat dan menganalisisnya pada hari berikutnya atau pada hari berikutnya (yang merupakan strategi arkib yang meluas yang tipikal dari pangkalan data dan gudang data). Walau bagaimanapun, pertanyaan data berguna cenderung untuk bertanya mengenai data paling terkini dalam strim, dan data menjadi kurang berguna apabila ia berumur (dalam beberapa sektor, seperti kewangan, hari boleh menjadi banyak masa).

Selain itu, anda boleh mengharapkan lebih banyak data untuk tiba esok (jumlah data meningkat setiap hari) dan yang menjadikannya sukar, jika tidak mustahil, untuk menarik data dari repositori ketika anda menolak data baru. Menarik data lama dari repositori kerana data yang baru mencurah masuk adalah sama dengan hukuman Sisyphus. Sisyphus, sebagai mitos Yunani menyuarakan, menerima hukuman yang dahsyat dari tuhan Zeus: Memaksa terpaksa melancarkan batu besar yang besar di atas bukit, hanya untuk menontonnya kembali turun setiap kali.

Kadangkala, hal-hal yang menjadikan hal-hal yang lebih mustahil untuk mengendalikan, data dapat tiba dengan cepat dan dalam kuantitas yang banyak sehingga menulis ke disk tidak mungkin: Informasi baru tiba lebih cepat daripada waktu yang diperlukan untuk menulisnya cakera Keras. Ini adalah masalah biasa eksperimen zarah dengan pemecut zarah seperti Collider Hadron Besar, yang memerlukan para saintis menentukan apa data yang perlu disimpan. Sudah tentu, anda boleh mengarahkan data untuk beberapa waktu, tetapi tidak terlalu lama, kerana giliran akan berkembang dengan cepat dan menjadi mustahil untuk diselenggarakan. Contohnya, jika disimpan dalam ingatan, data giliran tidak lama lagi akan membawa kepada ralat luar memori.

Oleh kerana arus data baru boleh menyebabkan pemprosesan terdahulu pada data lama usang, dan penangguhan bukan penyelesaian, orang telah merangka pelbagai strategi untuk menangani segera dengan jumlah data yang besar dan berubah. Orang menggunakan tiga cara untuk menangani sejumlah besar data:

• Disimpan: Sesetengah data disimpan kerana mungkin membantu menjawab soalan yang tidak jelas kemudian. Kaedah ini bergantung pada teknik untuk menyimpannya serta-merta dan menganalisisnya kemudian dengan cepat, tidak kira berapa besarnya.
• Diringkaskan: Sesetengah data diringkaskan kerana menyimpan semuanya kerana ia tidak masuk akal; hanya data penting disimpan.
• Diperlukan: Data yang selebihnya dimakan kerana penggunaannya telah ditetapkan terlebih dahulu. Algoritma dapat membaca, mencerna, dan mengubah data dengan segera. Selepas itu, sistem ini lupa data selama-lamanya.

Apabila membincangkan data besar-besaran yang sampai ke sistem komputer, anda akan sering mendengarnya berbanding dengan air: data streaming, aliran data, hos api data.

Anda mengetahui bagaimana aliran data seperti memakan air paip: Membuka paip membolehkan anda menyimpan air dalam cawan atau minum botol, atau anda boleh menggunakannya untuk memasak, menggosok makanan, membersihkan piring, atau mencuci tangan. Dalam mana-mana kes, kebanyakan atau semua air hilang, namun ia terbukti sangat berguna dan amat penting.