Hadoopin asentaminen itsenäiseen tilaan CentOS 7:ssä

Apache Hadoop on avoimen lähdekoodin Big Data -käsittelytyökalu, jota käytetään laajasti IT-alalla.

Tietojesi koosta, tyypistä ja laajuudesta riippuen voit ottaa Hadoopin käyttöön erillis- tai klusteritilassa.

Tässä aloittelijoille suunnatussa opetusohjelmassa asennamme Hadoopin itsenäisessä tilassa CentOS 7 -palvelinesiintymään.

Edellytykset

• Äskettäin luotu Vultr CentOS 7 x64 -palvelinesiintymä.
• Sudo käyttäjä .

Vaihe 1: Päivitä järjestelmä

Kirjaudu sisään sudo-käyttäjänä ja päivitä sitten CentOS 7 -järjestelmä uusimpaan vakaaseen tilaan:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Kun palvelin on online-tilassa, kirjaudu takaisin sisään.

Vaihe 2: Asenna Java

Hadoop on Java-pohjainen ja OpenJDK 8 on suositeltu versio uusimpaan vakaaseen versioon.

Asenna OpenJDK 8 JRE YUM:n avulla:

sudo yum install -y java-1.8.0-openjdk

Tarkista OpenJDK 8 JRE:n asennus:

java -version

Tulosteen tulee olla seuraavanlainen:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Vaihe 3: Asenna Hadoop

Löydät aina Hadoopin uusimman version lataus-URL-osoitteen viralliselta Apache Hadoopin julkaisusivulta . Tätä artikkelia kirjoitettaessa Hadoopin uusin vakaa versio on 2.7.3.

Lataa Hadoop 2.7.3:n binaariarkisto:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Lataa vastaava tarkistussummatiedosto:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Asenna tarkistussummatyökalu:

sudo yum install perl-Digest-SHA

Laske Hadoop-arkiston SHA256-arvo:

shasum -a 256 hadoop-2.7.3.tar.gz

Näytä tiedoston sisältö hadoop-2.7.3.tar.gz.mdsja varmista, että kaksi SHA256-arvoa ovat identtisiä:

cat hadoop-2.7.3.tar.gz.mds

Pura arkisto määritettyyn paikkaan:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Ennen kuin voit suorittaa Hadoopin oikein, sinun on määritettävä sille Java-kotisijainti.

Avaa Hadoop-ympäristön /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shmääritystiedosto käyttämällä vitai suosikkitekstieditorillasi:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Etsi rivi:

export JAVA_HOME=$

Korvaa se seuraavalla:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Tämä asetus saa Hadoopin käyttämään aina Java-oletusasennuspaikkaa.

Tallenna ja lopeta:

:wq!

Voit lisätä Hadoop-ohjelman polun PATHympäristömuuttujaan avuksesi:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Vaihe 4: Suorita ja testaa Hadoop

Suorita komento hadoop, ja sinua pyydetään käyttämään hadoop-komentoa ja sen eri parametreja.

Tässä voit käyttää sisäänrakennettua esimerkkiä testataksesi Hadoop-asennusta.

Valmistele tietolähde:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Käytä Hadoopia yhdessä grep:n kanssa tulostaaksesi tuloksen:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Tulosteen tulee olla:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Lopuksi voit tarkastella tulostiedostojen sisältöä:

cat ~/output/*

Tuloksena pitäisi olla:

6       principal
1       principal.

Olet nyt valmis tutkimaan Hadoopia.