Како инсталирати Хадооп у самосталном режиму на ЦентОС 7

Апацхе Хадооп је алат за обраду великих података отвореног кода, који се широко користи у ИТ индустрији.

У зависности од величине, типа и размере ваших података, можете да примените Хадооп у самосталном или кластер режиму.

У овом водичу намењеном почетницима, ми ћемо инсталирати Хадооп у самосталном режиму на инстанци сервера ЦентОС 7.

Предуслови

• Новокреирана инстанца сервера Вултр ЦентОС 7 к64.
• : Судо корисника .

Корак 1: Ажурирајте систем

Пријавите се као судо корисник, а затим ажурирајте систем ЦентОС 7 на најновији стабилан статус:

sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now

Када је сервер на мрежи, поново се пријавите.

Корак 2: Инсталирајте Јава

Хадооп је заснован на Јави и ОпенЈДК 8 је препоручена верзија за најновију стабилну верзију.

Инсталирајте ОпенЈДК 8 ЈРЕ користећи ИУМ:

sudo yum install -y java-1.8.0-openjdk

Проверите инсталацију ОпенЈДК 8 ЈРЕ:

java -version

Излаз би требало да личи на:

openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)

Корак 3: Инсталирајте Хадооп

УРЛ за преузимање најновије верзије Хадооп-а увек можете пронаћи са званичне странице издања Апацхе Хадооп-а . У време писања овог чланка, најновија стабилна верзија Хадооп-а је 2.7.3.

Преузмите бинарну архиву Хадооп-а 2.7.3:

cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz

Преузмите одговарајућу датотеку контролне суме:

wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds

Инсталирајте алатку за проверу:

sudo yum install perl-Digest-SHA

Израчунајте СХА256 вредност Хадооп архиве:

shasum -a 256 hadoop-2.7.3.tar.gz

Прикажите садржај датотеке hadoop-2.7.3.tar.gz.mdsи уверите се да су две СХА256 вредности идентичне:

cat hadoop-2.7.3.tar.gz.mds

Распакујте архиву на назначену локацију:

sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt

Пре него што будете могли да правилно покренете Хадооп, морате да наведете почетну локацију Јаве за њега.

Отворите конфигурациону датотеку Хадооп окружења /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shкористећи viили ваш омиљени уређивач текста:

sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

Пронађите линију:

export JAVA_HOME=$

Замените га са:

export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")

Ова поставка ће учинити да Хадооп увек користи подразумевану локацију за инсталацију Јаве.

Сачувај и затвори:

:wq!

Можете додати путању Хадооп програма у PATHпроменљиву окружења ради ваше удобности:

echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile

Корак 4: Покрените и тестирајте Хадооп

Једноставно извршите команду hadoopи од вас ће бити затражено коришћење команде хадооп и њених различитих параметара.

Овде можете користити уграђени пример да тестирате своју Хадооп инсталацију.

Припремите извор података:

mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source

Користите Хадооп заједно са греп да бисте добили резултат:

hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'

Излаз би требао бити:

    ...
    File System Counters
            FILE: Number of bytes read=1247812
            FILE: Number of bytes written=2336462
            FILE: Number of read operations=0
            FILE: Number of large read operations=0
            FILE: Number of write operations=0
    Map-Reduce Framework
            Map input records=2
            Map output records=2
            Map output bytes=37
            Map output materialized bytes=47
            Input split bytes=117
            Combine input records=0
            Combine output records=0
            Reduce input groups=2
            Reduce shuffle bytes=47
            Reduce input records=2
            Reduce output records=2
            Spilled Records=4
            Shuffled Maps =1
            Failed Shuffles=0
            Merged Map outputs=1
            GC time elapsed (ms)=24
            Total committed heap usage (bytes)=262758400
    Shuffle Errors
            BAD_ID=0
            CONNECTION=0
            IO_ERROR=0
            WRONG_LENGTH=0
            WRONG_MAP=0
            WRONG_REDUCE=0
    File Input Format Counters
            Bytes Read=151
    File Output Format Counters
            Bytes Written=37

Коначно, можете погледати садржај излазних датотека:

cat ~/output/*

Резултат би требао бити:

6       principal
1       principal.

Сада сте спремни да истражите Хадооп.