Hvernig á að setja Hadoop upp í sjálfstæðum ham á CentOS 7

Apache Hadoop er opinn uppspretta stórgagnavinnsluverkfæri, mikið notað í upplýsingatæknigeiranum.

Það fer eftir stærð, gerð og umfangi gagna þinna, þú getur sett Hadoop í notkun í sjálfstæða eða klasaham.

Í þessari byrjendaeinbeittu kennslu munum við setja Hadoop upp í sjálfstæðum ham á CentOS 7 netþjónstilviki.

Forkröfur

• Nýstofnað Vultr CentOS 7 x64 netþjónstilvik.
• A sudo notandi .

Skref 1: Uppfærðu kerfið

Skráðu þig inn sem sudo notandi og uppfærðu síðan CentOS 7 kerfið í nýjustu stöðugu stöðuna:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Þegar þjónninn er tengdur skaltu skrá þig aftur inn.

Skref 2: Settu upp Java

Hadoop er Java-undirstaða og OpenJDK 8 er ráðlögð útgáfa fyrir nýjustu stöðugu útgáfuna.

Settu upp OpenJDK 8 JRE með YUM:

sudo yum install -y java-1.8.0-openjdk

Staðfestu uppsetningu OpenJDK 8 JRE:

java -version

Úttakið ætti að líkjast:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Skref 3: Settu upp Hadoop

Þú getur alltaf fundið niðurhalsslóð nýjustu útgáfu Hadoop frá opinberu Apache Hadoop útgáfusíðunni . Þegar þessi grein er skrifuð er nýjasta stöðuga útgáfan af Hadoop 2.7.3.

Sæktu tvöfalda skjalasafn Hadoop 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Hladdu niður samsvarandi eftirlitssummuskránni:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Settu upp checksum tólið:

sudo yum install perl-Digest-SHA

Reiknaðu SHA256 gildi Hadoop skjalasafnsins:

shasum -a 256 hadoop-2.7.3.tar.gz

Sýndu innihald skrárinnar hadoop-2.7.3.tar.gz.mdsog vertu viss um að tvö SHA256 gildin séu eins:

cat hadoop-2.7.3.tar.gz.mds

Taktu niður skjalasafnið á tiltekinn stað:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Áður en þú getur keyrt Hadoop almennilega þarftu að tilgreina heimastað Java fyrir það.

Opnaðu Hadoop umhverfi stillingarskrána /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shmeð vieða uppáhalds textaritlinum þínum:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Finndu línuna:

export JAVA_HOME=$

Skiptu um það með:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Þessi stilling mun gera Hadoop alltaf til að nota sjálfgefna uppsetningarstaðsetningu Java.

Vista og hætta:

:wq!

Þú getur bætt slóð Hadoop forritsins við PATHumhverfisbreytuna þér til hægðarauka:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Skref 4: Hlaupa og prófa Hadoop

Einfaldlega framkvæma skipunina hadoopog þú verður beðinn um notkun á hadoop skipuninni og ýmsum breytum hennar.

Hér geturðu notað innbyggt dæmi til að prófa Hadoop uppsetninguna þína.

Undirbúa gagnagjafann:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Notaðu Hadoop ásamt grep til að gefa út niðurstöðuna:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Úttakið ætti að vera:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Að lokum geturðu skoðað innihald úttaksskránna:

cat ~/output/*

Niðurstaðan ætti að vera:

6       principal
1       principal.

Þú ert nú tilbúinn til að kanna Hadoop.