Hur man installerar Hadoop i fristående läge på CentOS 7

Apache Hadoop är ett verktyg för bearbetning av Big Data med öppen källkod, som används ofta inom IT-branschen.

Beroende på storlek, typ och skala på dina data kan du distribuera Hadoop i fristående eller klusterläge.

I denna nybörjarfokuserade handledning kommer vi att installera Hadoop i fristående läge på en CentOS 7-serverinstans.

Förutsättningar

• En nyskapad Vultr CentOS 7 x64-serverinstans.
• En sudo-användare .

Steg 1: Uppdatera systemet

Logga in som sudo-användare och uppdatera sedan CentOS 7-systemet till den senaste stabila statusen:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

När servern är online loggar du in igen.

Steg 2: Installera Java

Hadoop är Java-baserat och OpenJDK 8 är den rekommenderade versionen för den senaste stabila versionen.

Installera OpenJDK 8 JRE med YUM:

sudo yum install -y java-1.8.0-openjdk

Verifiera installationen av OpenJDK 8 JRE:

java -version

Utgången ska likna:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Steg 3: Installera Hadoop

Du kan alltid hitta nedladdningsadressen till den senaste versionen av Hadoop från den officiella versionen av Apache Hadoop . När denna artikel skrevs är den senaste stabila versionen av Hadoop 2.7.3.

Ladda ner det binära arkivet för Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Ladda ner den matchande kontrollsummafilen:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Installera kontrollsummeverktyget:

sudo yum install perl-Digest-SHA

Beräkna SHA256-värdet för Hadoop-arkivet:

shasum -a 256 hadoop-2.7.3.tar.gz

Visa innehållet i filen hadoop-2.7.3.tar.gz.mdsoch se till att de två SHA256-värdena är identiska:

cat hadoop-2.7.3.tar.gz.mds

Packa upp arkivet till en angiven plats:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Innan du kan köra Hadoop ordentligt måste du ange Java-hemplatsen för den.

Öppna Hadoop-miljöns konfigurationsfil /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shmed vieller din favorittextredigerare:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Hitta raden:

export JAVA_HOME=$

Byt ut den mot:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Den här inställningen gör att Hadoop alltid använder standardinstallationsplatsen för Java.

Spara och avsluta:

:wq!

Du kan lägga till Hadoop-programmets sökväg till PATHmiljövariabeln för din bekvämlighet:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Steg 4: Kör och testa Hadoop

Kör helt enkelt kommandot hadoopså kommer du att bli tillfrågad om användningen av kommandot hadoop och dess olika parametrar.

Här kan du använda ett inbyggt exempel för att testa din Hadoop-installation.

Förbered datakällan:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Använd Hadoop tillsammans med grep för att mata ut resultatet:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Utgången bör vara:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Slutligen kan du se innehållet i utdatafilerna:

cat ~/output/*

Resultatet bör bli:

6       principal
1       principal.

Du är nu redo att utforska Hadoop.