Kako instalirati Apache Kafku na CentOS 7

Apache Kafka je skalabilan i visokopropusni sustav za razmjenu poruka koji je sposoban učinkovito rukovati ogromnom količinom podataka.

Možete ili implementirati Kafku na jednom poslužitelju ili izgraditi distribuirani Kafka klaster za veće performanse. Za početak, ovaj članak objašnjava kako instalirati Apache Kafka na jednu instancu poslužitelja Vultr CentOS 7.

Preduvjeti:

Prije nego krenete dalje, trebali biste:

  • Postavite instancu poslužitelja Vultr CentOS 7. Ovisno o vašim potrebama, možda ćete morati povećati dostupnu memoriju.
  • Koristite sudo korisnika za prijavu sa svog SSH terminala.

Korak 1: Ažurirajte sustav CentOS 7

Koristite naredbu u nastavku da ažurirate svoj sustav na najnoviji stabilan status:

sudo yum update -y && sudo reboot

Nakon završetka ponovnog pokretanja, upotrijebite istog sudo korisnika da se ponovno prijavite.

Korak 2: Instalirajte OpenJDK Runtime

Morate postaviti Java virtualni stroj na svom sustavu prije nego što možete ispravno pokrenuti Apache Kafka. Ovdje možete instalirati OpenJDK Runtime Environment 1.8.0 koristeći YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Potvrdite svoju instalaciju sa:

java -version

Izlaz bi trebao izgledati:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Također morate postaviti varijable okruženja "JAVA_HOME" i "JRE_HOME":

sudo vi /etc/profile

Dodajte sljedeće retke izvornom sadržaju datoteke:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Spremi i zatvori:

:wq

Ponovno učitajte profil kako biste svoje promjene stavili na snagu:

source /etc/profile

Korak 3: Preuzmite Apache Kafku

Preuzmite najnoviju stabilnu verziju Apache Kafke sa službene web stranice. U vrijeme pisanja, to je 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Raspakirajte arhivu na željeno mjesto, kao što je /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Korak 4: Pokrenite i testirajte Apache Kafku

U ovom trenutku, Apache Kafka je dostupan na vašem sustavu. Probajmo ga.

4.1: Uđite u direktorij Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Pokrenite poslužitelj Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Izmijenite konfiguraciju vašeg Kafka poslužitelja

 vi bin/kafka-server-start.sh

Prilagodite upotrebu memorije prema specifičnim parametrima sustava. Na primjer, ako koristite instancu poslužitelja Vultr sa 768 MB memorije u testnom okruženju, morate pronaći sljedeći redak:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Zamijenite ga sa:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Spremi odustajanje:

:wq

4.4: Pokrenite Kafka poslužitelj

bin/kafka-server-start.sh config/server.properties

Ako je sve prošlo uspješno, vidjet ćete nekoliko poruka o statusu Kafka poslužitelja, a posljednja će glasiti:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

To znači da ste pokrenuli Kafka poslužitelj.

4.5: Napravite temu "test" u novoj SSH vezi

Otvorite novu SSH vezu, koristite sljedeće naredbe za stvaranje teme "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Svoje teme možete pogledati sljedećom naredbom:

bin/kafka-topics.sh --list --zookeeper localhost:2181

U našem slučaju, izlaz će glasiti:

test

4.6: Napravite poruke pomoću teme "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Koristeći gornju naredbu, možete unijeti bilo koji broj poruka koliko želite, kao što su:

Welcome aboard!
Bonjour!

Ako dobijete pogrešku sličnu onoj "WARN Error while fetching metadata with correlation id"prilikom unosa poruke, morat ćete ažurirati server.propertiesdatoteku sa sljedećim podacima:

port = 9092
advertised.host.name = localhost 

4.7: Prikaz poruka

Otvorite treću SSH vezu, a zatim pokrenite sljedeće naredbe:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Poruke koje ste prethodno proizveli prikazat će se u trećoj SSH vezi. Naravno, ako sada unesete više poruka s druge SSH veze, odmah ćete ih vidjeti na trećoj SSH vezi.

Konačno, možete pritisnuti Ctrl+C na svakoj SSH vezi da zaustavite ove skripte.

To je to. Više o Apache Kafki možete saznati na službenoj web stranici. Zabavi se!


Instalirajte Plesk na CentOS 7

Instalirajte Plesk na CentOS 7

Korištenje drugog sustava? Plesk je vlasnička upravljačka ploča web hosta koja omogućuje korisnicima da administriraju svoje osobne i/ili klijentske web stranice, baze podataka

Kako instalirati Squid proxy na CentOS

Kako instalirati Squid proxy na CentOS

Squid je popularan besplatni program za Linux koji vam omogućuje stvaranje web proxyja za prosljeđivanje. U ovom vodiču vidjet ćete kako instalirati Squid na CentOS da vas preokrene

Kako instalirati Lighttpd (LLMP Stack) na CentOS 6

Kako instalirati Lighttpd (LLMP Stack) na CentOS 6

Uvod Lighttpd je fork Apachea koji ima za cilj da bude puno manje intenzivan prema resursima. Lagan je, otuda mu i naziv, i prilično je jednostavan za korištenje. Instaliraj

Konfiguriranje statičkog umrežavanja i IPv6 na CentOS 7

Konfiguriranje statičkog umrežavanja i IPv6 na CentOS 7

VULTR je nedavno napravio promjene na svojoj strani i sada bi sve trebalo raditi dobro iz kutije s omogućenim NetworkManagerom. Želite li onemogućiti

Promjena Icinga2 za korištenje modela Master/Client na CentOS 6 ili CentOS 7

Promjena Icinga2 za korištenje modela Master/Client na CentOS 6 ili CentOS 7

Icinga2 je moćan sustav nadzora, a kada se koristi u modelu master-client, može zamijeniti potrebu za provjerama praćenja na temelju NRPE. Glavni klijent

Kako instalirati Apache Cassandra 3.11.x na CentOS 7

Kako instalirati Apache Cassandra 3.11.x na CentOS 7

Korištenje drugog sustava? Apache Cassandra je besplatni i otvorenog koda NoSQL sustav upravljanja bazom podataka koji je osmišljen kako bi osigurao skalabilnost, visoku

Kako instalirati Microweber na CentOS 7

Kako instalirati Microweber na CentOS 7

Korištenje drugog sustava? Microweber je CMS i internetska trgovina otvorenog koda povuci i ispusti. Izvorni kod Microwebera nalazi se na GitHubu. Ovaj vodič će vam pokazati

Kako instalirati Mattermost 4.1 na CentOS 7

Kako instalirati Mattermost 4.1 na CentOS 7

Korištenje drugog sustava? Mattermost je open source alternativa Slack SAAS servisu za razmjenu poruka. Drugim riječima, s Mattermostom možete ca

Stvaranje mreže Minecraft poslužitelja s BungeeCord na Debian 8, Debian 9 ili CentOS 7

Stvaranje mreže Minecraft poslužitelja s BungeeCord na Debian 8, Debian 9 ili CentOS 7

Što vam treba Vultr VPS s najmanje 1 GB RAM-a. SSH pristup (s root/administrativnim privilegijama). Korak 1: Instalacija BungeeCord-a Najprije

Omogućava šifriranje na Plesku

Omogućava šifriranje na Plesku

Upravljačka ploča Plesk ima vrlo lijepu integraciju za Lets Encrypt. Lets Encrypt je jedan od jedinih SSL pružatelja usluga koji u potpunosti izdaju certifikate

Omogućuje šifriranje na cPanelu

Omogućuje šifriranje na cPanelu

Lets Encrypt je tijelo za izdavanje certifikata posvećeno besplatnom pružanju SSL certifikata. cPanel je izgradio urednu integraciju tako da vi i vaš klijent

Kako instalirati Concrete5 na CentOS 7

Kako instalirati Concrete5 na CentOS 7

Korištenje drugog sustava? Concrete5 je CMS otvorenog koda koji nudi mnoge osebujne i korisne značajke koje pomažu urednicima u jednostavnoj proizvodnji sadržaja i

Kako instalirati ploču za pregled na CentOS 7

Kako instalirati ploču za pregled na CentOS 7

Korištenje drugog sustava? Review Board je besplatan alat otvorenog koda za pregled izvornog koda, dokumentacije, slika i još mnogo toga. To je web-bazirani softver

Postavite HTTP autentifikaciju pomoću Nginxa na CentOS 7

Postavite HTTP autentifikaciju pomoću Nginxa na CentOS 7

U ovom vodiču naučit ćete kako postaviti HTTP autentifikaciju za Nginx web poslužitelj koji radi na CentOS 7. Zahtjevi Da biste započeli, trebat će vam

Kako instalirati YOURLS na CentOS 7

Kako instalirati YOURLS na CentOS 7

YOURLS (Your Own URL Shortener) je aplikacija za skraćivanje URL-ova otvorenog koda i analizu podataka. U ovom članku ćemo pokriti proces instalacije

Kako instalirati i konfigurirati ArangoDB na CentOS 7

Kako instalirati i konfigurirati ArangoDB na CentOS 7

Korištenje drugog sustava? Uvod ArangoDB je NoSQL baza podataka otvorenog koda s fleksibilnim modelom podataka za dokumente, grafikone i ključ-vrijednosti. to je

Korištenje Etckeepera za kontrolu verzija /etc

Korištenje Etckeepera za kontrolu verzija /etc

Uvod Direktorij /etc/ igra ključnu ulogu u načinu na koji Linux sustav funkcionira. Razlog tome je što je gotovo svaka konfiguracija sustava

Zašto biste trebali koristiti SSHFS? Kako montirati udaljeni datotečni sustav sa SSHFS na CentOS 6

Zašto biste trebali koristiti SSHFS? Kako montirati udaljeni datotečni sustav sa SSHFS na CentOS 6

Mnogi administratori sustava upravljaju velikim količinama poslužitelja. Kada se datotekama treba pristupiti na različitim poslužiteljima, prijava na svaki pojedinačno ca

Postavljanje poslužitelja Half Life 2 na CentOS 6

Postavljanje poslužitelja Half Life 2 na CentOS 6

Ovaj vodič će pokriti proces instaliranja poslužitelja za igre Half Life 2 na sustavu CentOS 6. Korak 1: Instaliranje preduvjeta Kako biste postavili ou

Kako instalirati Laravel GitScrum na CentOS 7

Kako instalirati Laravel GitScrum na CentOS 7

Laravel GitScrum ili GitScrum je alat za produktivnost otvorenog koda dizajniran da pomogne razvojnim timovima da implementiraju Scrum metodologiju na sličan način.

Uspon strojeva: primjene AI u stvarnom svijetu

Uspon strojeva: primjene AI u stvarnom svijetu

Umjetna inteligencija nije u budućnosti, ovdje je upravo u sadašnjosti. U ovom blogu Pročitajte kako su aplikacije umjetne inteligencije utjecale na različite sektore.

DDOS napadi: kratak pregled

DDOS napadi: kratak pregled

Jeste li i vi žrtva DDOS napada i zbunjeni ste metodama prevencije? Pročitajte ovaj članak kako biste riješili svoje upite.

Jeste li se ikada zapitali kako hakeri zarađuju novac?

Jeste li se ikada zapitali kako hakeri zarađuju novac?

Možda ste čuli da hakeri zarađuju mnogo novca, ali jeste li se ikada zapitali kako zarađuju toliki novac? raspravimo.

Revolucionarni Googleovi izumi koji će vam olakšati život.

Revolucionarni Googleovi izumi koji će vam olakšati život.

Želite li vidjeti revolucionarne izume Googlea i kako su ti izumi promijenili život svakog čovjeka danas? Zatim čitajte na blogu kako biste vidjeli Googleove izume.

Friday Essential: Što se dogodilo s automobilima s umjetnom inteligencijom?

Friday Essential: Što se dogodilo s automobilima s umjetnom inteligencijom?

Koncept samovozećih automobila koji će krenuti na ceste uz pomoć umjetne inteligencije san je koji već neko vrijeme imamo. No, unatoč nekoliko obećanja, nigdje ih nema. Pročitajte ovaj blog kako biste saznali više…

Tehnološka singularnost: daleka budućnost ljudske civilizacije?

Tehnološka singularnost: daleka budućnost ljudske civilizacije?

Kako se znanost razvija velikom brzinom, preuzimajući mnoge naše napore, raste i rizik da se podvrgnemo neobjašnjivoj Singularnosti. Pročitajte što bi za nas mogla značiti singularnost.

Evolucija pohrane podataka – Infografika

Evolucija pohrane podataka – Infografika

Metode pohrane podataka su se razvijale možda od rođenja podataka. Ovaj blog pokriva evoluciju pohrane podataka na temelju infografike.

Funkcionalnosti slojeva referentne arhitekture velikih podataka

Funkcionalnosti slojeva referentne arhitekture velikih podataka

Pročitajte blog kako biste na najjednostavniji način upoznali različite slojeve u arhitekturi velikih podataka i njihove funkcionalnosti.

6 nevjerojatnih prednosti posjedovanja pametnih kućnih uređaja u našim životima

6 nevjerojatnih prednosti posjedovanja pametnih kućnih uređaja u našim životima

U ovom digitalnom svijetu, pametni kućni uređaji postali su ključni dio života. Evo nekoliko nevjerojatnih prednosti pametnih kućnih uređaja o tome kako naš život čine vrijednim življenja i jednostavnijim.

Ažuriranje dodataka macOS Catalina 10.15.4 uzrokuje više problema nego što ih rješava

Ažuriranje dodataka macOS Catalina 10.15.4 uzrokuje više problema nego što ih rješava

Nedavno je Apple izdao macOS Catalina 10.15.4 dodatak ažuriranju kako bi riješio probleme, ali čini se da ažuriranje uzrokuje više problema koji dovode do zalijevanja mac strojeva. Pročitajte ovaj članak da biste saznali više