Kuidas installida Hadoop eraldiseisvas režiimis CentOS 7-s

Apache Hadoop on avatud lähtekoodiga suurandmete töötlemise tööriist, mida kasutatakse IT-tööstuses laialdaselt.

Sõltuvalt teie andmete suurusest, tüübist ja ulatusest saate Hadoopi juurutada eraldiseisvas või klastrirežiimis.

Selles algajatele suunatud õpetuses installime Hadoopi eraldiseisvas režiimis CentOS 7 serveri eksemplari.

Eeltingimused

• Äsja loodud Vultr CentOS 7 x64 serveri eksemplar.
• Sudo kasutaja .

1. samm: värskendage süsteemi

Logige sisse sudo kasutajana ja seejärel värskendage CentOS 7 süsteemi uusimale stabiilsele olekule:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Kui server on võrgus, logige uuesti sisse.

2. samm: installige Java

Hadoop on Java-põhine ja OpenJDK 8 on uusima stabiilse versiooni jaoks soovitatav versioon.

Installige OpenJDK 8 JRE YUM-i abil:

sudo yum install -y java-1.8.0-openjdk

Kontrollige OpenJDK 8 JRE installimist:

java -version

Väljund peaks sarnanema:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

3. samm: installige Hadoop

Hadoopi uusima versiooni allalaadimise URL-i leiate alati Apache Hadoopi ametlikult väljalaskelehelt . Selle artikli kirjutamise ajal oli Hadoopi uusim stabiilne versioon 2.7.3.

Laadige alla Hadoop 2.7.3 binaararhiiv:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Laadige alla sobiv kontrollsumma fail:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Installige kontrollsumma tööriist:

sudo yum install perl-Digest-SHA

Arvutage Hadoopi arhiivi SHA256 väärtus:

shasum -a 256 hadoop-2.7.3.tar.gz

Kuvage faili sisu hadoop-2.7.3.tar.gz.mdsja veenduge, et kaks SHA256 väärtust oleksid identsed:

cat hadoop-2.7.3.tar.gz.mds

Pakkige arhiiv lahti määratud kohta:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Enne Hadoopi õiget käivitamist peate määrama selle Java kodu asukoha.

Avage Hadoopi keskkonna konfiguratsioonifail, /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shkasutades vivõi oma lemmiktekstiredaktorit:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Leidke rida:

export JAVA_HOME=$

Asenda see järgmisega:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

See säte paneb Hadoopi kasutama alati Java vaikeinstalli asukohta.

Salvestage ja lõpetage:

:wq!

PATHMugavuse huvides saate lisada keskkonnamuutujale Hadoopi programmi tee :

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

4. toiming: käivitage ja testige Hadoop

Lihtsalt hadooptäitke käsk ja teil palutakse kasutada käsku hadoop ja selle erinevaid parameetreid.

Siin saate oma Hadoopi installi testimiseks kasutada sisseehitatud näidet.

Valmistage ette andmeallikas:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Tulemuse väljastamiseks kasutage Hadoopi koos grep-iga:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Väljund peaks olema:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Lõpuks saate vaadata väljundfailide sisu:

cat ~/output/*

Tulemus peaks olema:

6       principal
1       principal.

Nüüd olete valmis Hadoopi uurima.