Kā instalēt Hadoop autonomajā režīmā CentOS 7

Apache Hadoop ir atvērtā koda lielo datu apstrādes rīks, ko plaši izmanto IT nozarē.

Atkarībā no datu lieluma, veida un mēroga varat izvietot Hadoop savrupajā vai klastera režīmā.

Šajā iesācējiem paredzētajā apmācībā mēs instalēsim Hadoop atsevišķajā režīmā CentOS 7 servera instancē.

Priekšnoteikumi

• Jaunizveidots Vultr CentOS 7 x64 servera gadījums.
• Sudo lietotāju .

1. darbība: atjauniniet sistēmu

Piesakieties kā sudo lietotājs un pēc tam atjauniniet CentOS 7 sistēmu uz jaunāko stabilo statusu:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Kad serveris ir tiešsaistē, piesakieties vēlreiz.

2. darbība. Instalējiet Java

Hadoop ir balstīta uz Java, un OpenJDK 8 ir ieteicamā versija jaunākajai stabilajai versijai.

Instalējiet OpenJDK 8 JRE, izmantojot YUM:

sudo yum install -y java-1.8.0-openjdk

Pārbaudiet OpenJDK 8 JRE instalēšanu:

java -version

Izvadei jābūt līdzīgai:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

3. darbība. Instalējiet Hadoop

Jūs vienmēr varat atrast jaunākās Hadoop versijas lejupielādes URL oficiālajā Apache Hadoop izlaišanas lapā . Šī raksta rakstīšanas laikā jaunākā stabilā Hadoop versija ir 2.7.3.

Lejupielādējiet Hadoop 2.7.3 bināro arhīvu:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Lejupielādējiet atbilstošo kontrolsummas failu:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Instalējiet kontrolsummas rīku:

sudo yum install perl-Digest-SHA

Aprēķiniet Hadoop arhīva SHA256 vērtību:

shasum -a 256 hadoop-2.7.3.tar.gz

Parādiet faila saturu hadoop-2.7.3.tar.gz.mdsun pārliecinieties, vai abas SHA256 vērtības ir identiskas:

cat hadoop-2.7.3.tar.gz.mds

Izsaiņojiet arhīvu noteiktā vietā:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Lai varētu pareizi palaist Hadoop, jums ir jānorāda Java mājas atrašanās vieta.

Atveriet Hadoop vides konfigurācijas failu, /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shizmantojot vivai savu iecienītāko teksta redaktoru:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Atrodiet līniju:

export JAVA_HOME=$

Nomainiet to ar:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Šis iestatījums liks Hadoop vienmēr izmantot noklusējuma Java instalēšanas vietu.

Saglabāt un iziet:

:wq!

PATHĒrtības labad vides mainīgajam varat pievienot programmas Hadoop ceļu :

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

4. darbība: palaidiet un pārbaudiet Hadoop

Vienkārši izpildiet komandu hadoop, un jums tiks piedāvāts izmantot komandu hadoop un tās dažādos parametrus.

Šeit varat izmantot iebūvēto piemēru, lai pārbaudītu savu Hadoop instalāciju.

Sagatavojiet datu avotu:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Izmantojiet Hadoop kopā ar grep, lai izvadītu rezultātu:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Izvadei jābūt šādai:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Visbeidzot, varat apskatīt izvadfailu saturu:

cat ~/output/*

Rezultātam jābūt:

6       principal
1       principal.

Tagad esat gatavs izpētīt Hadoop.