Ako nainštalovať Apache Kafka na CentOS 7

Apache Kafka je škálovateľný a vysoko výkonný systém správ, ktorý dokáže efektívne spracovať obrovské množstvo údajov.

Môžete buď nasadiť Kafka na jeden server, alebo vytvoriť distribuovaný klaster Kafka pre vyšší výkon. Na začiatok tento článok vysvetľuje, ako nainštalovať Apache Kafka na jednu inštanciu servera Vultr CentOS 7.

Predpoklady:

Predtým, ako pôjdete ďalej, mali by ste:

  • Nasaďte inštanciu servera Vultr CentOS 7. V závislosti od vašich potrieb možno budete musieť zväčšiť dostupnú pamäť.
  • Použite sudo užívateľa na prihlásenie z vášho SSH terminálu.

Krok 1: Aktualizujte systém CentOS 7

Na aktualizáciu systému na najnovší stabilný stav použite príkaz uvedený nižšie:

sudo yum update -y && sudo reboot

Po dokončení reštartu použite na opätovné prihlásenie toho istého používateľa sudo.

Krok 2: Nainštalujte OpenJDK Runtime

Aby ste mohli správne spustiť Apache Kafka, musíte vo svojom systéme nastaviť virtuálny stroj Java. Tu môžete nainštalovať OpenJDK Runtime Environment 1.8.0 pomocou YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Potvrďte svoju inštaláciu pomocou:

java -version

Výstup by sa mal podobať:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Musíte tiež nastaviť premenné prostredia „JAVA_HOME“ a „JRE_HOME“:

sudo vi /etc/profile

K pôvodnému obsahu súboru pripojte nasledujúce riadky:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Uložiť a ukončiť:

:wq

Znova načítajte profil, aby sa zmeny prejavili:

source /etc/profile

Krok 3: Stiahnite si Apache Kafka

Stiahnite si najnovšiu stabilnú verziu Apache Kafka z oficiálnej stránky. V čase písania tohto článku je to 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Rozbaľte archív na preferované miesto, ako napríklad /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Krok 4: Spustite a otestujte Apache Kafka

V tomto bode je Apache Kafka k dispozícii vo vašom systéme. Dajme tomu skúšobnú jazdu.

4.1: Dostaňte sa do adresára Kafka

cd /opt/kafka_2.11-0.9.0.1

4.2: Spustite server Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Upravte konfiguráciu svojho servera Kafka

 vi bin/kafka-server-start.sh

Upravte využitie pamäte podľa špecifických parametrov systému. Ak napríklad v testovacom prostredí používate inštanciu servera Vultr so 768 MB pamäte, musíte nájsť nasledujúci riadok:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Nahraďte ho:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Uložiť ukončenie:

:wq

4.4: Spustite server Kafka

bin/kafka-server-start.sh config/server.properties

Ak všetko prebehlo úspešne, uvidíte niekoľko správ o stave servera Kafka a posledná znie:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

To znamená, že ste spustili server Kafka.

4.5: Vytvorte tému "test" v novom SSH pripojení

Otvorte nové pripojenie SSH, pomocou nasledujúcich príkazov vytvorte tému „test“:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Svoje témy môžete zobraziť pomocou nasledujúceho príkazu:

bin/kafka-topics.sh --list --zookeeper localhost:2181

V našom prípade bude výstup znieť:

test

4.6: Vytvárajte správy pomocou témy "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Pomocou vyššie uvedeného príkazu môžete zadať ľubovoľný počet správ, ako napríklad:

Welcome aboard!
Bonjour!

Ak sa vám zobrazí chyba podobná ako "WARN Error while fetching metadata with correlation id"pri zadávaní správy, budete musieť server.propertiessúbor aktualizovať o nasledujúce informácie:

port = 9092
advertised.host.name = localhost 

4.7: Zobrazenie správ

Otvorte tretie pripojenie SSH a potom spustite nasledujúce príkazy:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Správy, ktoré ste vytvorili predtým, sa zobrazia pri treťom pripojení SSH. Samozrejme, ak teraz zadáte viac správ z druhého pripojenia SSH, okamžite ich uvidíte pri treťom pripojení SSH.

Nakoniec môžete tieto skripty zastaviť stlačením Ctrl+C na každom pripojení SSH.

To je všetko. Viac o Apache Kafka sa dozviete na oficiálnej stránke. Príjemnú zábavu!


Install Plesk on CentOS 7

Install Plesk on CentOS 7

Using a Different System? Plesk is a proprietary web host control panel that allows users to administer their personal and/or clients websites, databases

Ako nainštalovať Squid Proxy na CentOS

Ako nainštalovať Squid Proxy na CentOS

Squid je populárny bezplatný linuxový program, ktorý vám umožňuje vytvoriť webový proxy server na presmerovanie. V tejto príručke uvidíte, ako nainštalovať Squid na CentOS, aby vás zmenil

Ako nainštalovať Lighttpd (LLMP Stack) na CentOS 6

Ako nainštalovať Lighttpd (LLMP Stack) na CentOS 6

Úvod Lighttpd je fork Apache, ktorého cieľom je byť oveľa menej náročný na zdroje. Je ľahký, odtiaľ jeho názov, a jeho použitie je celkom jednoduché. Installin

Konfigurácia statickej siete a IPv6 na CentOS 7

Konfigurácia statickej siete a IPv6 na CentOS 7

VULTR nedávno vykonal zmeny na ich konci a všetko by teraz malo fungovať dobre po vybalení so zapnutým NetworkManagerom. Ak chcete deaktivovať

Úprava Icinga2 na použitie modelu Master/Client na CentOS 6 alebo CentOS 7

Úprava Icinga2 na použitie modelu Master/Client na CentOS 6 alebo CentOS 7

Icinga2 je výkonný monitorovací systém a pri použití v modeli master-client môže nahradiť potrebu monitorovacích kontrol založených na NRPE. Hlavný klient

Ako nainštalovať Apache Cassandra 3.11.x na CentOS 7

Ako nainštalovať Apache Cassandra 3.11.x na CentOS 7

Používate iný systém? Apache Cassandra je bezplatný a otvorený systém správy databáz NoSQL, ktorý je navrhnutý tak, aby poskytoval škálovateľnosť, vysokú

Ako nainštalovať Microweber na CentOS 7

Ako nainštalovať Microweber na CentOS 7

Používate iný systém? Microweber je open source drag and drop CMS a online obchod. Zdrojový kód Microweber je umiestnený na GitHub. Tento návod vám to ukáže

Ako nainštalovať Mattermost 4.1 na CentOS 7

Ako nainštalovať Mattermost 4.1 na CentOS 7

Používate iný systém? Mattermost je open source, samostatne hosťovaná alternatíva k službe posielania správ Slack SAAS. Inými slovami, s Mattermostom môžete cca

Vytvorenie siete serverov Minecraft pomocou BungeeCord na Debian 8, Debian 9 alebo CentOS 7

Vytvorenie siete serverov Minecraft pomocou BungeeCord na Debian 8, Debian 9 alebo CentOS 7

Čo budete potrebovať Vultr VPS s aspoň 1 GB RAM. Prístup SSH (s oprávneniami root/administrátor). Krok 1: Inštalácia BungeeCord Najprv veci

Umožňuje šifrovanie na Plesku

Umožňuje šifrovanie na Plesku

Ovládací panel Plesk obsahuje veľmi peknú integráciu pre Lets Encrypt. Lets Encrypt je jedným z mála poskytovateľov SSL, ktorí rozdávajú kompletné certifikáty

Umožňuje šifrovanie na cPanel

Umožňuje šifrovanie na cPanel

Lets Encrypt je certifikačná autorita, ktorá sa venuje bezplatnému poskytovaniu certifikátov SSL. cPanel vytvoril úhľadnú integráciu, takže vy a váš klient

Ako nainštalovať Concrete5 na CentOS 7

Ako nainštalovať Concrete5 na CentOS 7

Používate iný systém? Concrete5 je open source CMS, ktorý ponúka mnoho charakteristických a užitočných funkcií, ktoré pomáhajú redaktorom jednoducho vytvárať obsah

Ako nainštalovať revíznu tabuľu na CentOS 7

Ako nainštalovať revíznu tabuľu na CentOS 7

Používate iný systém? Review Board je bezplatný a otvorený zdrojový nástroj na kontrolu zdrojového kódu, dokumentácie, obrázkov a mnohých ďalších. Je to webový softvér

Nastavte overenie HTTP pomocou Nginx na CentOS 7

Nastavte overenie HTTP pomocou Nginx na CentOS 7

V tejto príručke sa dozviete, ako nastaviť HTTP autentifikáciu pre webový server Nginx spustený na CentOS 7. Požiadavky Na začiatok budete potrebovať

Ako nainštalovať YOURLS na CentOS 7

Ako nainštalovať YOURLS na CentOS 7

YOURLS (Your Own URL Shortener) je open source aplikácia na skrátenie adresy URL a analýzu údajov. V tomto článku sa budeme zaoberať procesom inštalácie

Ako nainštalovať a nakonfigurovať ArangoDB na CentOS 7

Ako nainštalovať a nakonfigurovať ArangoDB na CentOS 7

Používate iný systém? Úvod ArangoDB je open source databáza NoSQL s flexibilným dátovým modelom pre dokumenty, grafy a hodnoty kľúča. to je

Použitie Etckeeper na kontrolu verzií /etc

Použitie Etckeeper na kontrolu verzií /etc

Úvod Adresár /etc/ hrá rozhodujúcu úlohu v spôsobe fungovania systému Linux. Dôvodom je skutočnosť, že takmer každá konfigurácia systému

Prečo by ste mali používať SSHFS? Ako pripojiť vzdialený súborový systém s SSHFS na CentOS 6

Prečo by ste mali používať SSHFS? Ako pripojiť vzdialený súborový systém s SSHFS na CentOS 6

Mnoho systémových administrátorov spravuje veľké množstvo serverov. Keď je potrebné pristupovať k súborom cez rôzne servery, prihlásenie do každého z nich samostatne ca

Nastavenie servera Half Life 2 na CentOS 6

Nastavenie servera Half Life 2 na CentOS 6

Tento tutoriál sa bude zaoberať procesom inštalácie herného servera Half Life 2 na systém CentOS 6. Krok 1: Inštalácia predpokladov Aby ste mohli nastaviť ou

Ako nainštalovať Laravel GitScrum na CentOS 7

Ako nainštalovať Laravel GitScrum na CentOS 7

Laravel GitScrum alebo GitScrum je nástroj na zvýšenie produktivity s otvoreným zdrojom určený na pomoc vývojovým tímom implementovať metodiku Scrum podobným spôsobom.

The Rise of Machines: Real World Applications of AI

The Rise of Machines: Real World Applications of AI

Umelá inteligencia nie je v budúcnosti, je tu priamo v súčasnosti V tomto blogu si prečítajte, ako aplikácie umelej inteligencie ovplyvnili rôzne sektory.

Útoky DDOS: Stručný prehľad

Útoky DDOS: Stručný prehľad

Ste aj vy obeťou DDOS útokov a máte zmätok ohľadom metód prevencie? Ak chcete vyriešiť svoje otázky, prečítajte si tento článok.

Zaujímalo vás niekedy, ako hackeri zarábajú peniaze?

Zaujímalo vás niekedy, ako hackeri zarábajú peniaze?

Možno ste už počuli, že hackeri zarábajú veľa peňazí, ale premýšľali ste niekedy nad tým, ako môžu zarábať také peniaze? poďme diskutovať.

Revolučné vynálezy od spoločnosti Google, ktoré vám uľahčia život.

Revolučné vynálezy od spoločnosti Google, ktoré vám uľahčia život.

Chcete vidieť revolučné vynálezy od Google a ako tieto vynálezy zmenili život každého dnešného človeka? Potom si prečítajte na blogu a pozrite si vynálezy spoločnosti Google.

Piatok Essential: Čo sa stalo s autami poháňanými AI?

Piatok Essential: Čo sa stalo s autami poháňanými AI?

Koncept samoriadených áut vyraziť na cesty s pomocou umelej inteligencie je snom, ktorý máme už nejaký čas. Ale napriek niekoľkým prísľubom ich nikde nevidno. Prečítajte si tento blog a dozviete sa viac…

Technologická singularita: vzdialená budúcnosť ľudskej civilizácie?

Technologická singularita: vzdialená budúcnosť ľudskej civilizácie?

Ako sa veda vyvíja rýchlym tempom a preberá veľa nášho úsilia, zvyšuje sa aj riziko, že sa vystavíme nevysvetliteľnej singularite. Prečítajte si, čo pre nás môže znamenať singularita.

Vývoj ukladania dát – Infografika

Vývoj ukladania dát – Infografika

Spôsoby ukladania údajov sa môžu vyvíjať už od zrodu údajov. Tento blog sa zaoberá vývojom ukladania údajov na základe infografiky.

Funkcionality vrstiev referenčnej architektúry veľkých dát

Funkcionality vrstiev referenčnej architektúry veľkých dát

Prečítajte si blog, aby ste čo najjednoduchším spôsobom spoznali rôzne vrstvy architektúry veľkých dát a ich funkcie.

6 úžasných výhod toho, že máme v živote inteligentné domáce zariadenia

6 úžasných výhod toho, že máme v živote inteligentné domáce zariadenia

V tomto digitálnom svete sa inteligentné domáce zariadenia stali kľúčovou súčasťou života. Tu je niekoľko úžasných výhod inteligentných domácich zariadení o tom, ako robia náš život, ktorý stojí za to žiť, a ktorý zjednodušujú.

Aktualizácia doplnku macOS Catalina 10.15.4 spôsobuje viac problémov, ako ich rieši

Aktualizácia doplnku macOS Catalina 10.15.4 spôsobuje viac problémov, ako ich rieši

Spoločnosť Apple nedávno vydala doplnkovú aktualizáciu macOS Catalina 10.15.4 na opravu problémov, ale zdá sa, že táto aktualizácia spôsobuje ďalšie problémy, ktoré vedú k blokovaniu počítačov Mac. Prečítajte si tento článok a dozviete sa viac