Video: Ejen Ali Episod 9 - Misi: Peranan 2024
Peralatan ETL menggabungkan tiga fungsi penting (ekstrak, mengubah, beban) yang diperlukan untuk mendapatkan data dari satu persekitaran data yang besar dan masukkannya ke persekitaran data yang lain. Secara tradisinya, ETL telah digunakan dengan pemprosesan batch dalam persekitaran gudang data. Gudang data menyediakan pengguna perniagaan dengan cara untuk menyatukan maklumat untuk menganalisis dan melaporkan data yang berkaitan dengan fokus perniagaan mereka. Alat ETL digunakan untuk mengubah data ke format yang diperlukan oleh gudang data.
Transformasi sebenarnya dilakukan di lokasi pertengahan sebelum data dimuatkan ke dalam gudang data. Banyak vendor perisian, termasuk IBM, Informatica, Pervasive, Talend, dan Pentaho, menyediakan alat perisian ETL.
ETL menyediakan infrastruktur asas untuk integrasi dengan melaksanakan tiga fungsi penting:
-
Ekstrak: Baca data dari pangkalan data sumber.
-
Transform: Tukar format data yang diekstrak supaya ia mematuhi keperluan pangkalan data sasaran. Transformasi dilakukan dengan menggunakan peraturan atau menggabungkan data dengan data lain.
-
Beban: Tulis data ke pangkalan data sasaran.
Walau bagaimanapun, ETL sedang berkembang untuk menyokong integrasi di lebih daripada gudang data tradisional. ETL boleh menyokong integrasi merentas sistem transaksi, kedai data operasi, platform BI, hab MDM, awan, dan platform Hadoop. Para vendor perisian ETL memperluaskan penyelesaiannya untuk menyediakan pengekstrakan data, transformasi, dan pemuatan data antara Hadoop dan platform pengurusan data tradisional.
ETL dan alat perisian untuk proses penyepaduan data lain seperti pembersihan data, pemprofilan, dan mengaudit semua kerja pada aspek data yang berbeza untuk memastikan data tersebut dapat dipercaya. Alat ETL diintegrasikan dengan alat-alat kualiti data, dan banyak menggabungkan alat-alat untuk pembersihan data, pemetaan data, dan mengenal pasti keturunan data. Dengan ETL, anda hanya mengeluarkan data yang anda perlukan untuk integrasi. Alat
ETL diperlukan untuk pemuatan dan penukaran data berstruktur dan tidak berstruktur ke dalam Hadoop. Alat ETL lanjutan boleh membaca dan menulis beberapa fail selari dari dan ke Hadoop untuk mempermudah bagaimana data digabungkan menjadi proses transformasi biasa. Beberapa penyelesaian menggabungkan perpustakaan transformasi ETL prebuilt untuk kedua-dua data transaksi dan interaksi yang dijalankan di Hadoop atau infrastruktur grid tradisional.
Transformasi data adalah proses menukar format data supaya ia dapat digunakan oleh aplikasi yang berbeza.Ini mungkin bermakna perubahan dari format data disimpan dalam format yang diperlukan oleh aplikasi yang akan menggunakan data tersebut. Proses ini juga termasuk arahan pemetaan supaya aplikasi diberitahu bagaimana untuk mendapatkan data yang mereka perlukan untuk diproses.
Proses transformasi data dibuat jauh lebih kompleks kerana pertumbuhan yang mengejutkan dalam jumlah data tidak terstruktur. Aplikasi perniagaan seperti pengurusan hubungan pelanggan mempunyai keperluan khusus untuk bagaimana data harus disimpan. Data tersebut mungkin berstruktur dalam baris dan lajur yang teratur dalam pangkalan data relasi. Data adalah separuh berstruktur atau tidak berstruktur jika tidak mengikut keperluan format yang tegar.
Maklumat yang terkandung dalam mesej e-mel dianggap tidak terstruktur, misalnya. Sebahagian daripada maklumat penting syarikat adalah dalam bentuk tidak terstruktur dan separuh berstruktur seperti dokumen, mesej e-mel, format pesanan kompleks, interaksi sokongan pelanggan, urus niaga, dan maklumat yang datang dari aplikasi yang dibungkus seperti ERP dan CRM.
Alat transformasi data tidak direka untuk berfungsi dengan baik dengan data tidak berstruktur. Akibatnya, syarikat-syarikat yang memerlukan untuk memasukkan maklumat yang tidak tersusun ke dalam proses membuat keputusan perniagaan telah dihadapi dengan banyak pengekodan manual untuk mencapai integrasi data yang diperlukan.
Memandangkan pertumbuhan dan kepentingan data tak berstruktur untuk membuat keputusan, penyelesaian ETL dari vendor utama mula menawarkan pendekatan yang standard untuk mengubah data yang tidak tersusun supaya dapat lebih mudah diintegrasikan dengan data berstruktur operasi.
