Isi kandungan:
Video: Membuat Presentasi Power Point 2024
Senibina data besar anda juga perlu dilakukan bersamaan dengan infrastruktur sokongan organisasi anda. Sebagai contoh, anda mungkin berminat untuk menjalankan model untuk menentukan sama ada selamat untuk menggerudi minyak di kawasan luar pesisir yang diberikan data masa nyata suhu, kemasinan, pemendapan sedimen, dan pelbagai sifat biologi, kimia dan fizikal yang lain lajur air.
Mungkin diperlukan beberapa hari untuk menjalankan model ini menggunakan konfigurasi pelayan tradisional. Walau bagaimanapun, menggunakan model pengkomputeran yang diedarkan, apa yang mengambil masa beberapa hari mungkin mengambil masa beberapa minit.
Prestasi mungkin juga menentukan jenis pangkalan data yang akan anda gunakan. Sebagai contoh, dalam beberapa situasi, anda mungkin mahu memahami bagaimana dua elemen data yang sangat berbeza berkaitan. Apakah hubungan antara buzz di rangkaian sosial dan pertumbuhan jualan? Ini bukan pertanyaan biasa yang boleh anda minta pangkalan data berstruktur, berstruktur.
Pangkalan data grafik mungkin menjadi pilihan yang lebih baik, kerana ia direka khusus untuk memisahkan "nod" atau entiti daripada "sifat "nya atau maklumat yang mendefinisikan entiti itu, dan" kelebihan "atau hubungan antara nod dan sifat. Menggunakan pangkalan data yang betul juga akan meningkatkan prestasi. Biasanya pangkalan data grafik akan digunakan dalam aplikasi saintifik dan teknikal.
Pendekatan pangkalan data operasi penting lain termasuk pangkalan kolumnar yang menyimpan maklumat dengan cekap dalam lajur dan bukan baris. Pendekatan ini membawa kepada prestasi yang lebih pantas kerana input / output sangat cepat. Apabila penyimpanan data geografi adalah sebahagian daripada persamaan, pangkalan data spatial dioptimumkan untuk menyimpan dan menanyakan data berdasarkan bagaimana objek berkaitan dalam ruang.
Susun perkhidmatan dan alat data besar
Tidak semua data yang digunakan oleh organisasi beroperasi. Data yang semakin meningkat berasal dari pelbagai sumber yang tidak begitu teratur atau langsung, termasuk data yang berasal dari mesin atau sensor, dan sumber data awam dan swasta yang besar. Pada masa lalu, kebanyakan syarikat tidak dapat menangkap atau menyimpan jumlah data yang banyak ini. Ia terlalu mahal atau terlalu besar.
Walaupun syarikat dapat menangkap data, mereka tidak mempunyai alat untuk melakukan apa-apa. Alat yang sangat sedikit dapat memahami banyak data ini. Alat yang wujud adalah rumit untuk digunakan dan tidak menghasilkan hasil dalam tempoh masa yang munasabah.
Pada akhirnya, mereka yang benar-benar ingin pergi ke usaha besar menganalisis data ini terpaksa bekerja dengan gambar data.Ini mempunyai kesan yang tidak diingini dari peristiwa penting yang hilang kerana mereka tidak berada dalam gambar tertentu.
MapReduce, Hadoop, dan Big Table untuk data besar
Dengan evolusi teknologi pengkomputeran, kini mungkin untuk menguruskan jumlah data yang besar. Harga sistem telah menurun, dan sebagai akibatnya, teknik baru untuk pengkomputeran diedarkan adalah arus perdana. Terobosan sebenar berlaku sebagai syarikat seperti Yahoo!, Google, dan Facebook menyedari bahawa mereka memerlukan bantuan untuk mengewangkan jumlah besar data yang mereka buat.
Syarikat-syarikat baru ini perlu mencari teknologi baru yang membolehkan mereka menyimpan, mengakses, dan menganalisis sejumlah besar data dalam waktu dekat sehingga mereka dapat mengewangkan faedah untuk memiliki banyak data tentang peserta dalam rangkaian mereka.
Penyelesaian yang dihasilkannya mengubah pasaran pengurusan data. Khususnya, inovasi MapReduce, Hadoop, dan Big Table terbukti sebagai percikan api yang membawa kepada generasi baru pengurusan data. Teknologi ini menangani salah satu masalah yang paling mendasar - keupayaan untuk memproses jumlah data secara besar-besaran dengan cekap, kos efektif, dan tepat pada masanya.
MapReduce
MapReduce telah direka oleh Google sebagai satu cara untuk melaksanakan satu set fungsi terhadap sejumlah besar data dalam mod batch. Komponen "peta" mengedarkan masalah pengaturcaraan atau tugas dalam sebilangan besar sistem dan mengendalikan penempatan tugas. Ia juga mengimbangi beban dan menguruskan pemulihan kegagalan. Fungsi lain yang dikenali sebagai "mengurangkan" mengumpul semua elemen kembali bersama untuk memberikan hasil.
Jadual Besar
Jadual Besar telah dibangunkan oleh Google untuk menjadi sistem penyimpanan teragih yang bertujuan untuk menguruskan data berstruktur yang sangat berskala. Data diatur ke dalam jadual dengan baris dan lajur. Tidak seperti model pangkalan data relasi tradisional, Big Table adalah peta yang disusun secara bersihih, diedarkan dan berterusan. Ia bertujuan untuk menyimpan jumlah data yang besar di seluruh pelayan komoditi.
Hadoop
Hadoop adalah rangka kerja perisian yang diurus oleh Apache yang diperolehi dari MapReduce dan Big Table. Hadoop membenarkan aplikasi berdasarkan MapReduce untuk dijalankan pada kluster besar perkakasan komoditi. Projek ini merupakan asas bagi seni bina pengkomputeran yang menyokong Yahoo! perniagaan. Hadoop direka untuk menyeragamkan pemprosesan data merentasi nod komputer untuk mempercepat pengiraan dan menyembunyikan kependaman.
Dua komponen utama Hadoop wujud: sistem fail diedarkan secara besar-besaran yang dapat menyokong petabytes data dan enjin MapReduce secara besar-besaran yang dapat dikumpulkan hasil kumpulan.
