Rumah Kewangan Peribadi Hadoop sebagai Engine Preprocessing Data - dummies

Hadoop sebagai Engine Preprocessing Data - dummies

Video: Aditya Riaddy - Apa itu Apache Spark dan Penggunaanya untuk Big Data Analytics | BukaTalks 2024

Video: Aditya Riaddy - Apa itu Apache Spark dan Penggunaanya untuk Big Data Analytics | BukaTalks 2024
Anonim

Salah satu kes penggunaan yang paling awal untuk Hadoop dalam perusahaan adalah sebagai enjin transformasi program yang digunakan untuk mengolah data yang terikat untuk gudang data. Pada dasarnya, kes penggunaan ini memanfaatkan kuasa ekosistem Hadoop untuk memanipulasi dan menerapkan transformasi ke data sebelum ia dimuatkan ke dalam gudang data.

Walaupun enjin transformasi sebenarnya adalah baru (ia adalah Hadoop, jadi transformasi dan aliran data dikodkan dalam Pig atau MapReduce, antara bahasa lain), pendekatan itu sendiri telah digunakan sebentar dengan Extract, Transform, Load (ETL).

Fikirkan tentang evolusi pangkalan data OLTP dan ROLAP. Banyak organisasi yang mempunyai pangkalan data operasi juga menggunakan gudang data. Jadi bagaimana jabatan IT mendapatkan data dari pangkalan data operasi mereka ke dalam gudang data mereka? (Ingatlah bahawa data operasi biasanya tidak dalam bentuk yang meminjam sendiri.)

Jawapannya ialah ETL, dan ketika gudang data meningkat dalam penggunaan dan kepentingannya, langkah-langkah dalam proses itu dipahami dengan baik dan amalan terbaik adalah dibangunkan. Juga, beberapa syarikat perisian mula menawarkan penyelesaian ETL yang menarik supaya jabatan IT dapat meminimumkan pembangunan kod tersuai mereka sendiri.

Proses ETL asas adalah agak mudah: anda E mengeluarkan data dari pangkalan data operasi, T memperkenalkannya ke bentuk yang anda perlukan untuk analisis anda dan alat pelapor, dan kemudian anda L mengutip data ini ke dalam gudang data anda.

Satu variasi biasa untuk ETL ialah ELT - Ekstrak, Beban, dan Transform. Dalam proses ELT, anda melakukan transformasi (berbeza dengan ETL) selepas memuatkan data ke repositori sasaran. Pendekatan ini sering digunakan apabila perubahan itu sangat bermanfaat daripada enjin pemprosesan SQL yang sangat cepat pada data berstruktur. (Pangkalan data hubungan mungkin tidak cemerlang dalam memproses data yang tidak tersusun, tetapi mereka melakukan pemprosesan yang sangat cepat - menebak data? - data berstruktur.)

Jika data yang anda ubah ditakdirkan untuk gudang data, dan banyak transformasi tersebut boleh dilakukan di SQL, anda boleh memilih untuk menjalankan transformasi dalam gudang data itu sendiri. ELT amat menarik jika sebahagian besar set kemahiran anda terletak pada perkakasan berasaskan SQL.

Dengan Hadoop kini dapat memproses pertanyaan SQL, kedua-dua beban kerja ETL dan ELT boleh dihoskan pada Hadoop. Angka ini menunjukkan perkhidmatan ETL ditambah kepada seni bina rujukan.

Jika anda telah menggunakan zon pendaratan berasaskan Hadoop, anda mempunyai hampir semua yang anda perlukan untuk menggunakan Hadoop sebagai enjin transformasi.Anda sudah mendarat data dari sistem operasi anda ke Hadoop menggunakan Sqoop, yang meliputi langkah pengekstrakan. Pada ketika ini, anda perlu melaksanakan logika transformasi ke dalam aplikasi MapReduce atau Babi. Selepas data diubah, anda boleh memuatkan data ke dalam gudang data menggunakan Sqoop.

Menggunakan Hadoop sebagai enjin transformasi data menimbulkan kemungkinan juga. Jika gudang data anda tidak mengubah datanya (hanya untuk pelaporan sahaja), anda boleh menyimpan data yang anda hasilkan dengan proses transformasi. Dalam model ini, data hanya mengalir dari kiri ke kanan dalam angka, di mana data diekstrak daripada pangkalan data operasi, ditukar dalam zon pendaratan, dan kemudian dimasukkan ke dalam gudang data.

Dengan semua data yang diubah sudah berada di zon pendaratan, tidak perlu menyalinnya kembali ke Hadoop - kecuali, tentu saja, data akan diubah suai di gudang.

Hadoop sebagai Engine Preprocessing Data - dummies

Pilihan Editor

Cara RSVP ke Acara di Ning - patung

Cara RSVP ke Acara di Ning - patung

Di Ning, setelah anda menemukan persidangan itu mencari atau parti yang ingin anda hadiri, anda perlu RSVP untuk acara tersebut supaya pihak penganjur boleh mendapatkan jumlah minuman, makanan dan barang yang sesuai untuk semua peserta - dan juga rakan-rakan rangkaian anda yang tahu anda akan pergi . Untuk RSVP ...

Cara Menghantar Mesej Peribadi di Ning - dummies

Cara Menghantar Mesej Peribadi di Ning - dummies

Mesej hanya dengan dua kumpulan orang: rakan anda dan Pentadbir (termasuk Pencipta Rangkaian). Mesej peribadi Ning memberi anda cara yang ideal sebagai ahli untuk berkomunikasi dengan ahli-ahli lain dalam rangkaian tanpa semua orang mengetahui tentangnya:

Pilihan Editor

Dimensi web untuk Infographics anda - dummies

Dimensi web untuk Infographics anda - dummies

Cabaran untuk menilai infographic untuk web adalah saiz reka bentuk kini sangat berubah , tiada standard untuk bercakap. "Reka bentuk responsif" yang dibawa dengan kemunculan HTML5 mengubah landskap reka bentuk web secara kekal. Tidak seperti grafik yang dicetak, di mana setiap orang yang melihatnya mengalaminya dalam saiz yang sama, ...

Pilihan Editor

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Bagaimana Menganalisis Sentimen dan Kesan Penglibatan Media Sosial Anda - pemahaman

Komuniti mempunyai tindak balas yang positif, negatif, atau neutral kepada anda dan jenama anda boleh membantu anda menentukan bagaimana untuk terus mengendalikan pendekatan penglibatan media sosial anda. Bagaimana anda mengukur pesaing dalam minda penonton dalam talian anda adalah satu lagi faktor penting untuk dinilai. Anda juga boleh memanfaatkan ...

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Cara Tanya Ahli Komuniti Dalam Talian untuk Ulasan - dummies

Tidak ada yang salah dengan menjangkau para blogger, penulis, dan ahli komuniti dalam talian lain dan bertanya kepada mereka jika mereka berminat untuk menyemak jenama atau komuniti anda. Perbezaan antara penginjilan jenama dan melakukan kajian semula adalah bahawa penginjil jenama tidak mengkaji: Mereka mempromosikan, dan mereka diberi pampasan sebagai pertukaran untuk promosi mereka. Penilai, di ...

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Cara Mengiklankan Syarikat Anda melalui Penajaan Blog - patung

Untuk cara percikan untuk dilihat blog atau laman web, pertimbangkan menaja laman web ini. Penajaan untuk blog popular telah mendapat banyak perhatian dalam blogosphere. Sesetengah blogger menyeru menerima tajaan "menjual keluar," tetapi yang lain menganggapnya sebagai cara terbaik untuk mendapatkan bayaran untuk melakukan apa yang mereka suka. Penajaan cenderung kepada ...