Tetapkan Alam Sekitar Hadoop dengan Apache Bigtop - dummies

Jika anda selesa bekerja dengan VMs dan Linux, berasa bebas untuk memasang Bigtop pada VM yang berbeza daripada yang disyorkan. Jika anda benar-benar berani dan mempunyai perkakasan, teruskan dan cuba memasang Bigtop pada satu kelompok mesin dalam mod yang diedarkan sepenuhnya!

Langkah 1: Memuat turun VM

Hadoop berjalan pada semua pengedaran Linux yang popular, jadi anda memerlukan VM Linux. Terdapat imej CentOS 6 yang boleh didapati (dan sah!) Yang tersedia.

Anda memerlukan sistem operasi 64-bit pada komputer riba anda untuk menjalankan VM ini. Hadoop memerlukan persekitaran 64-bit.

Selepas anda memuat turun VM, ekstrak dari fail Zip yang dimuat turun ke direktori destinasi. Pastikan anda mempunyai sekitar 50GB ruang yang tersedia sebagai Hadoop dan data sampel anda memerlukannya.

Jika anda belum mempunyai pemain VM, anda boleh memuat turun secara percuma.

Selepas anda menyiapkan pemain VM anda, buka pemain, pergi ke File → Open, kemudian pergi ke direktori tempat anda diekstrak VM Linux anda. Cari fail yang dipanggil dan pilihnya. Anda akan melihat maklumat tentang berapa banyak pemproses dan berapa banyak memori yang akan digunakan. Ketahui berapa banyak memori komputer anda, dan peruntukkan separuh daripadanya untuk menggunakan VM. Hadoop memerlukan banyak ingatan.

Setelah anda siap, klik butang Putar, dan contoh Linux anda akan bermula. Anda akan melihat banyak mesej yang terbang sebagai Linux boot dan anda akan masuk ke skrin masuk. Nama pengguna telah ditetapkan kepada "Tom. "Tentukan kata laluan sebagai" tomtom "dan log masuk.

Langkah 2: Memuat turun Bigtop

Dari dalam VM Linux anda, klik kanan pada skrin dan pilih Terbuka dalam Terminal dari menu konteks yang muncul. Ini membuka terminal Linux, di mana anda boleh menjalankan arahan. Klik di dalam terminal supaya anda dapat melihat kursor berkedip dan masukkan arahan berikut: su -

Anda akan diminta untuk kata laluan anda, jadi ketik "tomtom" seperti yang anda lakukan sebelum ini. Perintah ini menukar pengguna kepada root, yang merupakan akaun utama untuk komputer Linux - anda perlukan ini untuk memasang Hadoop.

Dengan akses root anda (jangan biarkan kuasa sampai ke kepala anda), jalankan perintah berikut:

wget -O / etc / yum. repo. d / bigtop. repo 

// www. apache. org / dist / bigtop / bigtop- 
0. 7. 0 / repos / centos6 / bigtop. repo

Perintah ini pada dasarnya merupakan permintaan web, yang meminta file tertentu dalam URL yang anda dapat lihat dan menulisnya ke jalan tertentu - dalam hal ini, itu /.

Langkah 3: Memasang Bigtop

Para jenius di belakang Linux telah menjadikan hidup agak mudah bagi mereka yang perlu memasang pakej perisian besar seperti Hadoop.Apa yang anda muat turun pada langkah terakhir bukanlah keseluruhan pakej Bigtop dan semua kebergantungannya. Ia hanya fail repositori (dengan lanjutan), yang memberitahu program pemasangan yang pakej perisian diperlukan untuk pemasangan Bigtop.

Seperti mana-mana produk perisian besar, Hadoop mempunyai banyak prasyarat, tetapi anda tidak perlu risau. Fail yang direka dengan baik akan menunjuk kepada sebarang kebergantungan, dan pemasang cukup pintar untuk melihat jika mereka hilang pada komputer anda dan kemudian memuat turun dan memasangnya.

Pemasang yang anda gunakan di sini dipanggil yum, yang anda dapat lihat dalam tindakan sekarang:

yum install hadoop * mahout * oozie * hbase * hive * hue * pig * zookeeper *

Notice that you 'memilih dan memilih komponen Hadoop untuk dipasang. Terdapat beberapa komponen lain yang terdapat di Bigtop, tetapi ini adalah satu-satunya yang anda akan gunakan di sini. Memandangkan VM adalah pemasangan Linux yang baru, anda memerlukan banyak kebergantungan, jadi anda perlu menunggu sedikit.

Pemasang yum cukup banyak, jadi anda boleh menonton apa yang sedang dimuat turun dan dipasang untuk lulus masa. Apabila proses pemasangan selesai, anda akan melihat mesej yang mengatakan "Lengkap! "

Langkah 4: Memulakan Hadoop

Sebelum anda mula menjalankan aplikasi di Hadoop, terdapat beberapa konfigurasi dasar dan perkara persediaan yang perlu anda lakukan. Di sini mereka berada dalam urutan:

1. Muat turun dan pasang Java:

   yum install java-1. 7. 0-openjdk-devel. x86_64
   

2. Format NameNode:

   sudo / etc / init. d / hadoop-hdfs-namenode init
   

3. Mulailah perkhidmatan Hadoop untuk kluster pseudodistribusi anda:

   untuk i dalam hadoop-hdfs-namenode hadoop-hdfs-datanode; lakukan perkhidmatan sudo $ i mula; selesai
   

4. Buat struktur sub-direktori dalam HDFS:

   sudo / usr / lib / hadoop / libexec / init-hdfs. sh
   

5. Mulailah daemon YARN:

sudo service hadoop-yarn-resourcemanager startudo service hadoop-yarn-nodemanager start

Dan dengan itu, anda sudah selesai. Tahniah! Anda telah memasang penempatan Hadoop yang berfungsi!

Langkah 5: Memuat turun set data sampel

Untuk memuat turun set data sampel, buka pelayar Firefox dari dalam VM, dan pergi ke halaman dataexpo.

Anda tidak memerlukan keseluruhan set data, jadi bermula dengan satu tahun, 1987. Apabila anda hendak memuat turun, pilih Buka dengan pilihan Pengurus Arkib.

Selepas fail anda telah dimuat turun, ekstrak fail ke dalam direktori rumah anda di mana anda dengan mudah dapat mencarinya. Klik pada butang Extract, dan kemudian pilih direktori Desktop.

Langkah 6: Menyalin data sampel yang ditetapkan ke HDFS

Ingat bahawa program Hadoop anda hanya boleh berfungsi dengan data selepas disimpan di HDFS. Jadi apa yang akan anda lakukan sekarang ialah menyalin fail data penerbangan untuk tahun 1987 ke dalam HDFS. Masukkan arahan berikut:

hdfs dfs -copyFromLocal 1987. csv / user / root