Hvernig á að setja upp Apache Kafka á CentOS 7

Apache Kafka er stigstærð og afkastamikil skilaboðakerfi sem er fær um að meðhöndla mikið magn af gögnum á skilvirkan hátt.

Þú getur annað hvort sett Kafka á einn netþjón eða byggt upp dreifðan Kafka þyrping til að fá meiri afköst. Til að byrja með útskýrir þessi grein hvernig á að setja upp Apache Kafka á einu Vultr CentOS 7 netþjónstilviki.

Forkröfur:

Áður en þú heldur áfram ættirðu að:

  • Settu upp Vultr CentOS 7 netþjónstilvik. Það fer eftir þörfum þínum, þú gætir þurft að auka tiltækt minni.
  • Notaðu sudo notanda til að skrá þig inn frá SSH flugstöðinni þinni.

Skref 1: Uppfærðu CentOS 7 kerfið

Notaðu skipunina hér að neðan til að uppfæra kerfið þitt í nýjustu stöðugu stöðuna:

sudo yum update -y && sudo reboot

Eftir að endurræsingu er lokið skaltu nota sama sudo notanda til að skrá þig inn aftur.

Skref 2: Settu upp OpenJDK Runtime

Þú þarft að setja upp Java sýndarvél á vélinni þinni áður en þú getur keyrt Apache Kafka almennilega. Hér geturðu sett upp OpenJDK Runtime Environment 1.8.0 með YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Staðfestu uppsetninguna þína með:

java -version

Úttakið ætti að líkjast:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Þú þarft líka að setja upp „JAVA_HOME“ og „JRE_HOME“ umhverfisbreyturnar:

sudo vi /etc/profile

Bættu eftirfarandi línum við upprunalega innihald skráarinnar:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Vista og hætta:

:wq

Endurhlaða prófílinn til að koma breytingunum þínum í framkvæmd:

source /etc/profile

Skref 3: Sæktu Apache Kafka

Sæktu nýjustu stöðugu útgáfuna af Apache Kafka frá opinberu vefsíðunni. Þegar þetta er skrifað er það 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Taktu niður skjalasafnið á ákjósanlegan stað, svo sem /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Skref 4: Byrjaðu og prófaðu Apache Kafka

Á þessum tímapunkti er Apache Kafka fáanlegur á vélinni þinni. Við skulum prófa það.

4.1: Farðu inn í Kafka möppuna

cd /opt/kafka_2.11-0.9.0.1

4.2: Ræstu Zookeeper þjóninn

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Breyttu stillingum Kafka netþjónsins þíns

 vi bin/kafka-server-start.sh

Stilltu minnisnotkunina í samræmi við sérstakar kerfisbreytur þínar. Til dæmis, ef þú ert að nota Vultr netþjónstilvik með 768MB minni í prófunarumhverfinu þarftu að finna eftirfarandi línu:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Skiptu um það með:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Vistaðu hætta:

:wq

4.4: Ræstu Kafka netþjóninn

bin/kafka-server-start.sh config/server.properties

Ef allt gekk vel muntu sjá nokkur skilaboð um stöðu Kafka þjónsins og sú síðasta mun lesa:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Þetta þýðir að þú hefur ræst Kafka þjóninn.

4.5: Búðu til topic "próf" í nýrri SSH tengingu

Opnaðu nýja SSH tengingu, notaðu eftirfarandi skipanir til að búa til efni "próf":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Þú getur skoðað efnin þín með eftirfarandi skipun:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Í okkar tilviki mun úttakið lesa:

test

4.6: Búðu til skilaboð með því að nota efnið "próf"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Með því að nota skipunina hér að ofan geturðu slegið inn hvaða fjölda skilaboða sem þú vilt, svo sem:

Welcome aboard!
Bonjour!

Ef þú færð villu svipað og "WARN Error while fetching metadata with correlation id"þegar þú setur inn skilaboð þarftu að uppfæra server.propertiesskrána með eftirfarandi upplýsingum:

port = 9092
advertised.host.name = localhost 

4.7: Birta skilaboð

Opnaðu þriðju SSH tenginguna og keyrðu síðan eftirfarandi skipanir:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Skilaboðin sem þú framleiddir áðan munu birtast í þriðju SSH tengingunni. Auðvitað, ef þú setur inn fleiri skilaboð frá annarri SSH tengingunni núna muntu sjá þau strax á þriðju SSH tengingunni.

Að lokum geturðu ýtt á Ctrl+C á hverri SSH tengingu til að stöðva þessar forskriftir.

Það er það. Þú getur lært meira um Apache Kafka á opinberu vefsíðunni. Góða skemmtun!


Settu upp Plesk á CentOS 7

Settu upp Plesk á CentOS 7

Að nota annað kerfi? Plesk er sérstakt stjórnborð fyrir vefþjón sem gerir notendum kleift að stjórna persónulegum og/eða viðskiptavinum vefsíðum sínum, gagnagrunnum

Hvernig á að setja upp Squid Proxy á CentOS

Hvernig á að setja upp Squid Proxy á CentOS

Smokkfiskur er vinsælt, ókeypis Linux forrit sem gerir þér kleift að búa til framsendingarforrit á vefnum. Í þessari handbók muntu sjá hvernig á að setja upp Squid á CentOS til að snúa þér

Hvernig á að setja upp Lighttpd (LLMP Stack) á CentOS 6

Hvernig á að setja upp Lighttpd (LLMP Stack) á CentOS 6

Inngangur Lighttpd er gaffal af Apache sem miðar að því að vera miklu minna auðlindafrekt. Hann er léttur, þess vegna heitir hann, og er frekar einfaldur í notkun. Uppsetning

Stilla Static Networking og IPv6 á CentOS 7

Stilla Static Networking og IPv6 á CentOS 7

VULTR hefur nýlega gert breytingar á enda þeirra og allt ætti nú að virka vel út úr kassanum með NetworkManager virkt. Ef þú vilt slökkva á

Breytir Icinga2 til að nota Master/Client Model á CentOS 6 eða CentOS 7

Breytir Icinga2 til að nota Master/Client Model á CentOS 6 eða CentOS 7

Icinga2 er öflugt eftirlitskerfi og þegar það er notað í aðal-viðskiptavinamódel getur það komið í stað þörf fyrir NRPE-undirstaða vöktunareftirlit. Húsbóndinn

Hvernig á að setja upp Apache Cassandra 3.11.x á CentOS 7

Hvernig á að setja upp Apache Cassandra 3.11.x á CentOS 7

Að nota annað kerfi? Apache Cassandra er ókeypis og opinn uppspretta NoSQL gagnagrunnsstjórnunarkerfi sem er hannað til að veita sveigjanleika, háan

Hvernig á að setja upp Microweber á CentOS 7

Hvernig á að setja upp Microweber á CentOS 7

Að nota annað kerfi? Microweber er opinn uppspretta draga og sleppa CMS og netverslun. Microweber frumkóði er hýst á GitHub. Þessi handbók mun sýna þér

Hvernig á að setja upp Mattermost 4.1 á CentOS 7

Hvernig á að setja upp Mattermost 4.1 á CentOS 7

Að nota annað kerfi? Mattermost er opinn uppspretta, sjálfhýst valkostur við Slack SAAS skilaboðaþjónustuna. Með öðrum orðum, með Mattermost, þú ca

Að búa til net Minecraft netþjóna með BungeeCord á Debian 8, Debian 9 eða CentOS 7

Að búa til net Minecraft netþjóna með BungeeCord á Debian 8, Debian 9 eða CentOS 7

Það sem þú þarft Vultr VPS með að minnsta kosti 1GB af vinnsluminni. SSH aðgangur (með rót / stjórnunarréttindi). Skref 1: Uppsetning BungeeCord Fyrst af öllu

Láttu dulkóða á Plesk

Láttu dulkóða á Plesk

Plesk stjórnborðið er með mjög fallegri samþættingu fyrir Lets Encrypt. Lets Encrypt er ein af einu SSL veitunum sem gefa út skírteini að fullu

Láttu dulkóða á cPanel

Láttu dulkóða á cPanel

Lets Encrypt er vottunaryfirvöld sem sérhæfir sig í að útvega SSL vottorð án endurgjalds. cPanel hefur byggt upp snyrtilega samþættingu svo þú og viðskiptavinurinn þinn

Hvernig á að setja upp Concrete5 á CentOS 7

Hvernig á að setja upp Concrete5 á CentOS 7

Að nota annað kerfi? Concrete5 er opinn uppspretta CMS sem býður upp á marga áberandi og gagnlega eiginleika til að aðstoða ritstjóra við að framleiða efni auðveldlega og

Hvernig á að setja upp Review Board á CentOS 7

Hvernig á að setja upp Review Board á CentOS 7

Að nota annað kerfi? Review Board er ókeypis og opinn hugbúnaður til að skoða frumkóða, skjöl, myndir og margt fleira. Það er vefbundið hugbúnaðarstríð

Settu upp HTTP auðkenningu með Nginx á CentOS 7

Settu upp HTTP auðkenningu með Nginx á CentOS 7

Í þessari handbók munt þú læra hvernig á að setja upp HTTP auðkenningu fyrir Nginx vefþjón sem keyrir á CentOS 7. Kröfur Til að byrja þarftu að

Hvernig á að setja upp YOURLS á CentOS 7

Hvernig á að setja upp YOURLS á CentOS 7

YOURLS (Your Own URL Shortener) er opinn uppspretta vefslóða styttingar og gagnagreiningarforrit. Í þessari grein munum við fjalla um ferlið við uppsetningu

How to Install and Configure ArangoDB on CentOS 7

How to Install and Configure ArangoDB on CentOS 7

Using a Different System? Introduction ArangoDB is an open source NoSQL database with a flexible data model for documents, graphs, and key-values. It is

Notkun Etckeeper fyrir útgáfustýringu á /etc

Notkun Etckeeper fyrir útgáfustýringu á /etc

Inngangur /etc/ skrárinn gegnir mikilvægu hlutverki í því hvernig Linux kerfi virkar. Ástæðan fyrir þessu er sú að næstum allar kerfisstillingar

Af hverju ættir þú að nota SSHFS? Hvernig á að tengja fjarskráarkerfi með SSHFS á CentOS 6

Af hverju ættir þú að nota SSHFS? Hvernig á að tengja fjarskráarkerfi með SSHFS á CentOS 6

Margir kerfisstjórar stjórna miklu magni af netþjónum. Þegar aðgangur þarf að skrám á mismunandi netþjónum er innskráning á hvern og einn fyrir sig ca

Setja upp Half Life 2 Server á CentOS 6

Setja upp Half Life 2 Server á CentOS 6

Þessi kennsla mun fjalla um ferlið við að setja upp Half Life 2 leikjaþjón á CentOS 6 System. Skref 1: Forsendur settar upp Til að setja upp ou

Hvernig á að setja upp Laravel GitScrum á CentOS 7

Hvernig á að setja upp Laravel GitScrum á CentOS 7

Laravel GitScrum, eða GitScrum er opinn uppspretta framleiðniverkfæri hannað til að hjálpa þróunarteymi að innleiða Scrum aðferðafræðina á svipaðan hátt

The Rise of Machines: Real World Applications of AI

The Rise of Machines: Real World Applications of AI

Gervigreind er ekki í framtíðinni, hún er hér í nútímanum Í þessu bloggi Lestu hvernig gervigreindarforrit hafa haft áhrif á ýmsa geira.

DDOS árásir: Stutt yfirlit

DDOS árásir: Stutt yfirlit

Ertu líka fórnarlamb DDOS árása og ruglaður með forvarnaraðferðirnar? Lestu þessa grein til að leysa spurningar þínar.

Hefur þú einhvern tíma velt því fyrir þér hvernig tölvuþrjótar græða peninga?

Hefur þú einhvern tíma velt því fyrir þér hvernig tölvuþrjótar græða peninga?

Þú gætir hafa heyrt að tölvuþrjótar græða mikið af peningum, en hefur þú einhvern tíma velt því fyrir þér hvernig þeir vinna sér inn svona peninga? við skulum ræða.

Byltingarkenndar uppfinningar frá Google sem munu auðvelda lífi þínu.

Byltingarkenndar uppfinningar frá Google sem munu auðvelda lífi þínu.

Viltu sjá byltingarkenndar uppfinningar frá Google og hvernig þessar uppfinningar breyttu lífi hvers manns í dag? Lestu síðan til að blogga til að sjá uppfinningar frá Google.

Föstudagur Nauðsynlegur: Hvað varð um gervigreindardrifna bíla?

Föstudagur Nauðsynlegur: Hvað varð um gervigreindardrifna bíla?

Hugmyndin um að sjálfkeyrandi bílar fari á göturnar með hjálp gervigreindar er draumur sem við höfum átt um tíma núna. En þrátt fyrir nokkur loforð eru þau hvergi sjáanleg. Lestu þetta blogg til að læra meira…

Tæknileg sérkenni: Fjarlæg framtíð mannlegrar siðmenningar?

Tæknileg sérkenni: Fjarlæg framtíð mannlegrar siðmenningar?

Þar sem vísindin þróast hratt og taka yfir mikið af viðleitni okkar, eykst hættan á því að verða fyrir óútskýranlegri einstæðu. Lestu, hvað sérkenni gæti þýtt fyrir okkur.

Þróun gagnageymslu – Infographic

Þróun gagnageymslu – Infographic

Geymsluaðferðir gagna hafa verið að þróast gæti verið frá fæðingu gagna. Þetta blogg fjallar um þróun gagnageymslu á grundvelli upplýsingamynda.

Virkni Big Data Reference Architecture Layers

Virkni Big Data Reference Architecture Layers

Lestu bloggið til að þekkja mismunandi lög í Big Data Architecture og virkni þeirra á einfaldasta hátt.

6 ótrúlegir kostir þess að hafa snjall heimilistæki í lífi okkar

6 ótrúlegir kostir þess að hafa snjall heimilistæki í lífi okkar

Í þessum stafræna heimi hafa snjallheimilistæki orðið afgerandi hluti af lífi. Hér eru nokkrir ótrúlegir kostir snjallheimatækja um hvernig þau gera líf okkar þess virði að lifa því og einfaldara.

macOS Catalina 10.15.4 viðbót uppfærsla veldur fleiri vandamálum en að leysa

macOS Catalina 10.15.4 viðbót uppfærsla veldur fleiri vandamálum en að leysa

Nýlega gaf Apple út macOS Catalina 10.15.4 viðbótaruppfærslu til að laga vandamál en svo virðist sem uppfærslan sé að valda fleiri vandamálum sem leiða til múrsteins á Mac vélum. Lestu þessa grein til að læra meira