Apache Hadoop është një mjet i përpunimit të të dhënave të mëdha me burim të hapur, i përdorur gjerësisht në industrinë e IT.
Në varësi të madhësisë, llojit dhe shkallës së të dhënave tuaja, mund të vendosni Hadoop në modalitetin e pavarur ose grupor.
Në këtë tutorial të fokusuar tek fillestarët, ne do të instalojmë Hadoop në modalitetin e pavarur në një shembull të serverit CentOS 7.
Hyni si përdorues sudo dhe më pas përditësoni sistemin CentOS 7 në statusin më të fundit të qëndrueshëm:
sudo yum install epel-release -y
sudo yum update -y
sudo shutdown -r now
Pasi serveri të jetë në linjë, regjistrohu përsëri.
Hadoop është i bazuar në Java dhe OpenJDK 8 është versioni i rekomanduar për versionin më të fundit të qëndrueshëm.
Instaloni OpenJDK 8 JRE duke përdorur YUM:
sudo yum install -y java-1.8.0-openjdk
Verifikoni instalimin e OpenJDK 8 JRE:
java -version
Prodhimi duhet të ngjajë:
openjdk version "1.8.0_111"
OpenJDK Runtime Environment (build 1.8.0_111-b15)
OpenJDK 64-Bit Server VM (build 25.111-b15, mixed mode)
Mund ta gjeni gjithmonë URL-në e shkarkimit të versionit më të fundit të Hadoop nga faqja zyrtare e lëshimit të Apache Hadoop . Në kohën e shkrimit të këtij artikulli, versioni më i fundit i qëndrueshëm i Hadoop është 2.7.3.
Shkarkoni arkivin binar të Hadoop 2.7.3:
cd
wget http://www-us.apache.org/dist/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz
Shkarkoni skedarin e kontrollit që përputhet:
wget https://dist.apache.org/repos/dist/release/hadoop/common/hadoop-2.7.3/hadoop-2.7.3.tar.gz.mds
Instaloni mjetin kontrollues:
sudo yum install perl-Digest-SHA
Llogaritni vlerën SHA256 të arkivit Hadoop:
shasum -a 256 hadoop-2.7.3.tar.gz
Shfaqni përmbajtjen e skedarit hadoop-2.7.3.tar.gz.mdsdhe sigurohuni që dy vlerat SHA256 të jenë identike:
cat hadoop-2.7.3.tar.gz.mds
Zhzip arkivin në një vend të caktuar:
sudo tar -zxvf hadoop-2.7.3.tar.gz -C /opt
Përpara se të mund të ekzekutoni Hadoop siç duhet, duhet të specifikoni vendndodhjen e shtëpisë së Java për të.
Hapni skedarin e konfigurimit të mjedisit Hadoop /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.shduke përdorur viose redaktuesin tuaj të preferuar të tekstit:
sudo vi /opt/hadoop-2.7.3/etc/hadoop/hadoop-env.sh
Gjeni rreshtin:
export JAVA_HOME=$
Zëvendësojeni me:
export JAVA_HOME=$(readlink -f /usr/bin/java | sed "s:bin/java::")
Ky cilësim do të bëjë që Hadoop të përdorë gjithmonë vendndodhjen e instalimit të paracaktuar të Java.
Ruani dhe hiqni dorë:
:wq!
Ju mund të shtoni shtegun e programit Hadoop në PATHvariablin e mjedisit për lehtësinë tuaj:
echo "export PATH=/opt/hadoop-2.7.3/bin:$PATH" | sudo tee -a /etc/profile
source /etc/profile
Thjesht ekzekutoni komandën hadoopdhe do t'ju kërkohet të përdorni komandën hadoop dhe parametrat e saj të ndryshëm.
Këtu, mund të përdorni një shembull të integruar për të testuar instalimin tuaj Hadoop.
Përgatitni burimin e të dhënave:
mkdir ~/source
cp /opt/hadoop-2.7.3/etc/hadoop/*.xml ~/source
Përdorni Hadoop së bashku me grep për të nxjerrë rezultatin:
hadoop jar /opt/hadoop-2.7.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep ~/source ~/output 'principal[.]*'
Prodhimi duhet të jetë:
...
File System Counters
FILE: Number of bytes read=1247812
FILE: Number of bytes written=2336462
FILE: Number of read operations=0
FILE: Number of large read operations=0
FILE: Number of write operations=0
Map-Reduce Framework
Map input records=2
Map output records=2
Map output bytes=37
Map output materialized bytes=47
Input split bytes=117
Combine input records=0
Combine output records=0
Reduce input groups=2
Reduce shuffle bytes=47
Reduce input records=2
Reduce output records=2
Spilled Records=4
Shuffled Maps =1
Failed Shuffles=0
Merged Map outputs=1
GC time elapsed (ms)=24
Total committed heap usage (bytes)=262758400
Shuffle Errors
BAD_ID=0
CONNECTION=0
IO_ERROR=0
WRONG_LENGTH=0
WRONG_MAP=0
WRONG_REDUCE=0
File Input Format Counters
Bytes Read=151
File Output Format Counters
Bytes Written=37
Më në fund, mund të shikoni përmbajtjen e skedarëve dalës:
cat ~/output/*
Rezultati duhet të jetë:
6 principal
1 principal.
Tani jeni gati për të eksploruar Hadoop.
Përdorimi i një sistemi të ndryshëm? Plesk është një panel kontrolli i pronarit të hostit në internet që lejon përdoruesit të administrojnë faqet e tyre të internetit personale dhe/ose të klientëve, bazat e të dhënave
Squid është një program i popullarizuar, falas Linux që ju lejon të krijoni një përfaqësues në ueb përcjellës. Në këtë udhëzues, do të shihni se si të instaloni Squid në CentOS për t'ju kthyer
Hyrje Lighttpd është një fork i Apache që synon të jetë shumë më pak intensiv me burime. Është i lehtë, prandaj emri i tij, dhe është mjaft i thjeshtë për t'u përdorur. Instaloni
VULTR kohët e fundit ka bërë ndryshime në fund të tyre dhe gjithçka duhet të funksionojë mirë tani me NetworkManager të aktivizuar. Nëse dëshironi të çaktivizoni
Icinga2 është një sistem i fuqishëm monitorimi dhe kur përdoret në një model master-klient, ai mund të zëvendësojë nevojën për kontrolle monitorimi të bazuara në NRPE. Master-klien
Përdorimi i një sistemi të ndryshëm? Apache Cassandra është një sistem i menaxhimit të bazës së të dhënave NoSQL falas dhe me burim të hapur që është krijuar për të ofruar shkallëzim, të lartë
Përdorimi i një sistemi të ndryshëm? Microweber është një CMS me burim të hapur drag and drop dhe dyqan online. Kodi burimor Microweber është pritur në GitHub. Ky udhëzues do t'ju tregojë
Përdorimi i një sistemi të ndryshëm? Mattermost është një alternativë me burim të hapur, të vetë-strehuar për shërbimin e mesazheve Slack SAAS. Me fjalë të tjera, me Mattermost, ju rreth
Paneli i kontrollit Plesk përmban një integrim shumë të bukur për Lets Encrypt. Lets Encrypt është një nga ofruesit e vetëm SSL që jep plotësisht certifikata
Lets Encrypt është një autoritet certifikimi i dedikuar për të ofruar certifikata SSL pa pagesë. cPanel ka ndërtuar një integrim të pastër në mënyrë që ju dhe klienti juaj
Përdorimi i një sistemi të ndryshëm? Concrete5 është një CMS me burim të hapur që ofron shumë veçori dalluese dhe të dobishme për të ndihmuar redaktorët në prodhimin e përmbajtjes me lehtësi dhe
Using a Different System? Review Board is a free and open source tool for reviewing source code, documentation, images and many more. It is web-based softwar
Në këtë udhëzues, do të mësoni se si të konfiguroni vërtetimin HTTP për një server ueb Nginx që funksionon në CentOS 7. Kërkesat Për të filluar, do t'ju duhet
YOURLS (Shkurtësi juaj i URL-së) është një aplikacion për shkurtimin e URL-ve me burim të hapur dhe analitikë të të dhënave. Në këtë artikull, ne do të mbulojmë procesin e instalimit
Përdorimi i një sistemi të ndryshëm? Hyrje ArangoDB është një bazë të dhënash NoSQL me burim të hapur me një model fleksibël të dhënash për dokumente, grafikë dhe vlera-kyçe. Eshte
Hyrje Drejtoria /etc/ luan një rol kritik në mënyrën se si funksionon një sistem Linux. Arsyeja për këtë është sepse pothuajse çdo konfigurim i sistemit
Shumë administratorë të sistemit menaxhojnë sasi të mëdha serverash. Kur skedarët duhet të aksesohen nëpër serverë të ndryshëm, hyni në secilin individualisht rreth
Ky tutorial do të mbulojë procesin e instalimit të një serveri lojërash Half Life 2 në Sistemin CentOS 6. Hapi 1: Instalimi i parakushteve Për të vendosur ou
Laravel GitScrum, ose GitScrum është një mjet produktiviteti me burim të hapur i krijuar për të ndihmuar ekipet e zhvillimit të zbatojnë metodologjinë Scrum në një mënyrë të ngjashme.
Hyrje Në këtë tutorial të Vultr, do të mësoni se si të instaloni PowerDNS. PowerDNS është një program për ekzekutimin e serverëve tuaj të emrave. Është shumë e dobishme kur
Inteligjenca Artificiale nuk është në të ardhmen, është këtu në të tashmen Në këtë blog Lexoni se si aplikacionet e inteligjencës artificiale kanë ndikuar në sektorë të ndryshëm.
A jeni edhe ju viktimë e Sulmeve DDOS dhe jeni konfuz në lidhje me metodat e parandalimit? Lexoni këtë artikull për të zgjidhur pyetjet tuaja.
Ju mund të keni dëgjuar se hakerët fitojnë shumë para, por a keni menduar ndonjëherë se si i fitojnë ato para? Le te diskutojme.
Dëshironi të shihni shpikjet revolucionare nga Google dhe se si këto shpikje ndryshuan jetën e çdo njeriu sot? Më pas lexoni në blog për të parë shpikjet nga Google.
Koncepti i makinave vetë-drejtuese për të dalë në rrugë me ndihmën e inteligjencës artificiale është një ëndërr që e kemi prej kohësh. Por, pavarësisht nga disa premtime, ato nuk shihen askund. Lexoni këtë blog për të mësuar më shumë…
Ndërsa Shkenca evoluon me një ritëm të shpejtë, duke marrë përsipër shumë nga përpjekjet tona, rriten edhe rreziqet për t'iu nënshtruar një Singulariteti të pashpjegueshëm. Lexoni, çfarë mund të thotë singulariteti për ne.
Metodat e ruajtjes së të dhënave kanë evoluar mund të jenë që nga lindja e të dhënave. Ky blog mbulon evolucionin e ruajtjes së të dhënave në bazë të një infografike.
Lexoni blogun për të njohur shtresat e ndryshme në arkitekturën e të dhënave të mëdha dhe funksionalitetet e tyre në mënyrën më të thjeshtë.
Në këtë botë të drejtuar nga dixhitali, pajisjet inteligjente të shtëpisë janë bërë një pjesë thelbësore e jetës. Këtu janë disa përfitime të mahnitshme të pajisjeve shtëpiake inteligjente se si ato e bëjnë jetën tonë të vlefshme dhe më të thjeshtë.
Së fundmi Apple lëshoi macOS Catalina 10.15.4 një përditësim shtesë për të rregulluar problemet, por duket se përditësimi po shkakton më shumë probleme që çojnë në bricking të makinerive mac. Lexoni këtë artikull për të mësuar më shumë
