Video: Technology Stacks - Computer Science for Business Leaders 2016 2024
Mengatur perkhidmatan data dan alat , lapisan 3 dari tumpukan data besar, menangkap, mengesahkan, dan memasang pelbagai elemen besar data ke dalam konteks yang relevan koleksi. Oleh kerana data besar secara besar-besaran, teknik telah berkembang untuk memproses data dengan cekap dan lancar. MapReduce adalah satu teknik yang banyak digunakan. Cukuplah dikatakan di sini bahawa banyak perkhidmatan data penganjur ini adalah enjin MapReduce, yang direka khusus untuk mengoptimumkan organisasi aliran data besar.
Perkhidmatan data penganjuran adalah, sebenarnya, ekosistem alat dan teknologi yang boleh digunakan untuk mengumpulkan dan mengumpulkan data sebagai persediaan untuk pemprosesan selanjutnya. Oleh itu, peralatan perlu menyediakan integrasi, terjemahan, normalisasi, dan skala. Teknologi dalam lapisan ini termasuk yang berikut:
-
Sistem fail yang diedarkan: Diperlukan untuk menampung penguraian data aliran dan untuk menyediakan kapasiti skala dan penyimpanan
-
Perkhidmatan penyusunan: Diperlukan untuk penyimpanan data berterusan dan panggilan prosedur jarak jauh bahasa (RPC)
-
Perkhidmatan koordinasi: Diperlukan untuk membina aplikasi yang diedarkan (mengunci dan sebagainya) > Ekstrak, ubah, dan memuatkan (ETL) alat:
-
Diperlukan untuk memuatkan dan menukar data tersusun dan tidak tersusun ke Hadoop Perkhidmatan aliran kerja:
-
Diperlukan untuk kerja-kerja penjadualan dan menyediakan struktur untuk menyegerakkan elemen proses merentas lapisan
