Layer 0 of Big Data Stack: Redundant Physical Infrastructure - dummies

Pada tahap paling rendah tumpukan data besar adalah infrastruktur fizikal. Syarikat anda mungkin sudah mempunyai pusat data atau membuat pelaburan dalam infrastruktur fizikal, jadi anda ingin mencari jalan untuk menggunakan aset yang sedia ada.

Perlaksanaan data yang besar mempunyai keperluan yang sangat spesifik untuk semua elemen dalam seni bina rujukan, jadi anda perlu memeriksa keperluan ini secara lapisan demi lapisan untuk memastikan pelaksanaan Anda akan dilakukan dan mengikut skala permintaan bisnis Anda.

Prinsip data utama yang diprioritaskan harus mengandungi pernyataan mengenai perkara berikut:

• Prestasi: Seberapa responsif yang anda perlukan sistem itu? Prestasi, yang juga dipanggil latency, sering diukur hujung ke hujung, berdasarkan permintaan tunggal transaksi atau pertanyaan.

• Ketersediaan: Adakah anda memerlukan jaminan 100% uptime service? Berapa lamakah perniagaan anda menunggu dalam kes gangguan atau kegagalan perkhidmatan?

• Skalabiliti: Seberapa besar infrastruktur anda perlu? Berapa banyak ruang cakera diperlukan hari ini dan pada masa akan datang? Berapa kuasa pengkomputeran yang anda perlukan? Biasanya, anda perlu memutuskan apa yang anda perlukan dan kemudian menambah sedikit lagi skala untuk cabaran yang tidak dijangka.

• Fleksibiliti: Berapa cepat anda boleh menambah sumber ke infrastruktur? Seberapa cepat bolehkah infrastruktur anda pulih dari kegagalan?

• Kos: Apa yang anda mampu? Kerana infrastruktur adalah satu set komponen, anda mungkin dapat membeli rangkaian "terbaik" dan memutuskan untuk menjimatkan wang simpanan. Anda perlu menubuhkan keperluan untuk setiap bidang ini dalam konteks belanjawan keseluruhan dan kemudian membuat pertukaran jika diperlukan.

Seiring besarnya data mengenai halaju tinggi, volum tinggi, dan pelbagai data tinggi, infrastruktur fizikal secara literal akan "membuat atau memecahkan" pelaksanaannya. Kebanyakan pelaksanaan data yang besar perlu tersedia, jadi rangkaian, pelayan, dan penyimpanan fizikal mesti berdaya tahan dan berlebihan. Ketahanan dan redundansi saling berkaitan.

Infrastruktur, atau sistem, berdaya tahan terhadap kegagalan atau perubahan apabila sumber berlebihan yang mencukupi tersedia, bersedia untuk bertindak. Redundansi memastikan bahawa kerosakan sedemikian tidak akan menyebabkan gangguan. Ketahanan dapat membantu menghilangkan titik kegagalan dalam infrastruktur anda.

Di pusat data yang besar dengan keperluan kesinambungan perniagaan, kebanyakan redundansi telah disediakan dan boleh dimanfaatkan untuk mewujudkan persekitaran data yang besar.Dalam pelaksanaan baru, para pereka mempunyai tanggungjawab untuk memetakan penggunaan kepada keperluan perniagaan berdasarkan kos dan prestasi.

Ini bermakna kerumitan teknikal dan operasi bertopeng di belakang koleksi perkhidmatan, masing-masing dengan syarat khusus untuk prestasi, ketersediaan, pemulihan, dan sebagainya. Syarat-syarat ini diterangkan dalam perjanjian peringkat perkhidmatan (SLA) dan biasanya dirundingkan antara pembekal perkhidmatan dengan pelanggan, dengan penalti untuk ketidakpatuhan.

Sebenarnya, ini mewujudkan pusat data maya. Walaupun dengan pendekatan ini, anda masih perlu tahu apa yang diperlukan untuk membina dan menjalankan penyebaran data yang besar supaya anda boleh membuat pilihan yang paling sesuai dari tawaran perkhidmatan yang tersedia. Walaupun mempunyai SLA, organisasi anda masih mempunyai tanggungjawab utama untuk prestasi.

Rangkaian data besar yang berlebihan fizikal

Rangkaian seharusnya berlebihan dan mesti mempunyai kapasiti yang cukup untuk menampung jumlah dan halaju data masuk dan keluar yang dijangkakan sebagai tambahan kepada trafik rangkaian "normal" yang dialami oleh perniagaan. Semasa anda mula membuat data besar sebagai sebahagian daripada strategi pengkomputeran anda, adalah munasabah untuk mengharapkan jumlah dan halaju meningkat.

Pereka infrastruktur perlu merancang untuk peningkatan yang diharapkan dan cuba membuat pelaksanaan fizikal yang "elastis. "Sebagai trafik dan aliran trafik rangkaian, begitu juga set aset fizikal yang berkaitan dengan pelaksanaannya. Infrastruktur anda harus menawarkan keupayaan pemantauan supaya pengendali boleh bertindak balas apabila lebih banyak sumber diperlukan untuk menangani perubahan dalam beban kerja.

Menguruskan perkakasan data besar: Penyimpanan dan pelayan

Begitu juga, aset perkakasan (penyimpanan dan pelayan) mesti mempunyai kelajuan dan kapasiti yang mencukupi untuk mengendalikan keupayaan data besar yang diharapkan. Ia tidak begitu berguna untuk mempunyai rangkaian berkelajuan tinggi dengan pelayan yang perlahan kerana pelayan kemungkinan akan menjadi hambatan. Walau bagaimanapun, set pelayan penyimpanan dan pengiraan yang sangat cepat dapat mengatasi prestasi rangkaian variabel. Sudah tentu, tiada apa yang akan berfungsi dengan baik jika prestasi rangkaian kurang atau tidak boleh dipercayai.

Operasi infrastruktur data yang besar

Satu lagi pertimbangan reka bentuk penting ialah pengurusan operasi infrastruktur. Tahap prestasi dan kelenturan yang paling besar akan hadir hanya dalam persekitaran yang terurus dengan baik. Pengurus pusat data perlu dapat menjangka dan mencegah kegagalan bencana supaya integriti data, dan dengan melanjutkan proses perniagaan, dikekalkan. Pertubuhan IT sering terlepas pandang dan oleh itu kurang mendapat pelaburan dalam bidang ini.