Middleware untuk Data Warehousing - dummies

Middleware adalah perisian komputer yang menghubungkan komponen perisian. Dalam persekitaran pergudangan data, perkhidmatan middleware adalah satu set program dan rutin yang melakukan perkara berikut:

• Tarik data dari sumber (atau sumber).

• Pastikan bahawa data itu betul.

• Pindahkan data di sekitar persekitaran dari platform ke platform, seperti yang diperlukan.

• Mengendalikan sebarang transformasi data yang diperlukan.

• Muatkan data ke dalam pangkalan data gudang data (atau pangkalan data).

Dalam erti yang lebih formal, item dalam senarai terdahulu dikendalikan oleh perkhidmatan middleware ini:

• Pemilihan dan pengekstrakan data

• Jaminan kualiti data, bahagian I (pada peringkat komponen)

• Pergerakan data, bahagian I (juga pada peringkat komponen)

• Pemetaan dan transformasi data

• Jaminan kualiti data, bahagian II (selepas perubahan telah berlaku)

• Pergerakan data, bahagian II (ke persekitaran platform gudang data)

• Pemuatan data (ke gudang data) > Angka ini menggambarkan bagaimana perkhidmatan middleware mengalir bersama dalam persekitaran pergudangan data bersaiz sederhana.

Tetapi persekitaran pergudangan data anda mungkin berbeza daripada yang ditunjukkan dalam angka ini, terutamanya dalam bidang perkhidmatan pergerakan data. Perkhidmatan pergerakan data diperlukan setiap kali data melintasi sempadan sistem. Gambaran konseptual anda berbeza, bergantung pada butiran persekitaran akhir-ke-akhir anda.

Anda benar-benar perlu membuat perancangan, reka bentuk, dan sebaliknya berfikir tentang middleware gudang data dari segi perkhidmatan individu dalam senarai terdahulu, dan bukannya istilah generik, seperti "alat pengekstrakan. "Banyak vendor yang menyediakan beberapa, banyak, atau semua perkhidmatan ini sebagai sebahagian daripada satu produk atau satu set produk.

Tetapi alat yang mempunyai perkhidmatan pemetaan dan transformasi yang kuat, misalnya, mungkin lemah dalam perkhidmatan pemuatan data, atau alat yang menyediakan serangkaian layanan ekstraksi yang kaya mungkin kurang efektif dalam ruang pemetaan dan transformasi, di samping itu kepada jaminan kualiti data.

Sebelum memilih alat untuk projek pergudangan data anda (jika itu laluan yang anda ambil, bukan kod ubahsuaian), pastikan anda mempunyai idea yang baik tentang cabaran tertentu dalam persekitaran anda. Jika anda mempunyai keperluan pengekstrakan data yang agak lurus, contohnya, tetapi masalah kualiti data yang mencabar, tumpukan pada mencari alat jaminan mutu yang terbaik yang tersedia, walaupun hanya mempunyai kemampuan pengekstrakan yang begitu.

(Nasihat ini berlaku walaupun alat ini tidak mempunyai keupayaan pengekstrakan, dalam hal ini, Anda harus menggabungkannya dengan alat lain.)