Sådan installeres Apache Kafka på CentOS 7

Apache Kafka er et skalerbart og high-throughput meddelelsessystem, som er i stand til effektivt at håndtere en enorm mængde data.

Du kan enten implementere Kafka på én server eller bygge en distribueret Kafka-klynge for større ydeevne. Som en starter forklarer denne artikel, hvordan man installerer Apache Kafka på en enkelt Vultr CentOS 7-serverinstans.

Forudsætninger:

Inden du går videre, bør du:

  • Implementer en Vultr CentOS 7-serverinstans. Afhængigt af dine behov skal du muligvis øge den tilgængelige hukommelse.
  • Brug en sudo-bruger til at logge ind fra din SSH-terminal.

Trin 1: Opdater CentOS 7-systemet

Brug kommandoen nedenfor til at opdatere dit system til den seneste stabile status:

sudo yum update -y && sudo reboot

Når genstarten er afsluttet, skal du bruge den samme sudo-bruger til at logge på igen.

Trin 2: Installer OpenJDK Runtime

Du skal konfigurere en virtuel Java-maskine på dit system, før du kan køre Apache Kafka korrekt. Her kan du installere OpenJDK Runtime Environment 1.8.0 ved hjælp af YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Valider din installation med:

java -version

Outputtet skal ligne:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Du skal også opsætte miljøvariablerne "JAVA_HOME" og "JRE_HOME":

sudo vi /etc/profile

Føj følgende linjer til det originale indhold af filen:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Gem og luk:

:wq

Genindlæs profilen for at sætte dine ændringer i kraft:

source /etc/profile

Trin 3: Download Apache Kafka

Download den seneste stabile version af Apache Kafka fra den officielle hjemmeside. I skrivende stund er det 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pak arkivet ud til en foretrukken placering, såsom /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Trin 4: Start og test Apache Kafka

På dette tidspunkt er Apache Kafka tilgængelig på dit system. Lad os prøve den.

4.1: Gå ind i Kafka-biblioteket

cd /opt/kafka_2.11-0.9.0.1

4.2: Start Zookeeper-serveren

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Rediger konfigurationen af ​​din Kafka-server

 vi bin/kafka-server-start.sh

Juster hukommelsesforbruget i henhold til dine specifikke systemparametre. For eksempel, hvis du bruger en Vultr-serverinstans med 768 MB hukommelse i testmiljøet, skal du finde følgende linje:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Erstat den med:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Gem en afslutning:

:wq

4.4: Start Kafka-serveren

bin/kafka-server-start.sh config/server.properties

Hvis alt gik med succes, vil du se flere meddelelser om Kafka-serverens status, og den sidste vil læse:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Det betyder, at du har startet Kafka-serveren.

4.5: Opret et emne "test" i en ny SSH-forbindelse

Åbn en ny SSH-forbindelse, brug følgende kommandoer til at oprette et emne "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Du kan se dine emner med følgende kommando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

I vores tilfælde vil outputtet læse:

test

4.6: Lav beskeder ved at bruge emnet "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Ved at bruge kommandoen ovenfor kan du indtaste et vilkårligt antal beskeder, som du ønsker, såsom:

Welcome aboard!
Bonjour!

Hvis du modtager en fejl, der ligner, "WARN Error while fetching metadata with correlation id"når du indtaster en meddelelse, skal du opdatere server.propertiesfilen med følgende oplysninger:

port = 9092
advertised.host.name = localhost 

4.7: Vis beskeder

Åbn en tredje SSH-forbindelse, og kør derefter følgende kommandoer:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! De meddelelser, du producerede tidligere, vises i den tredje SSH-forbindelse. Selvfølgelig, hvis du indtaster flere beskeder fra den anden SSH-forbindelse nu, vil du straks se dem på den tredje SSH-forbindelse.

Til sidst kan du trykke på Ctrl+C på hver SSH-forbindelse for at stoppe disse scripts.

Det er det. Du kan lære mere om Apache Kafka på den officielle hjemmeside. Hav det sjovt!


Installer Plesk på CentOS 7

Installer Plesk på CentOS 7

Bruger du et andet system? Plesk er et proprietært webhost kontrolpanel, der giver brugerne mulighed for at administrere deres personlige og/eller klienters websteder, databaser

Sådan installeres Squid Proxy på CentOS

Sådan installeres Squid Proxy på CentOS

Squid er et populært, gratis Linux-program, der giver dig mulighed for at oprette en webproxy til videresendelse. I denne vejledning vil du se, hvordan du installerer Squid på CentOS for at gøre dig

Sådan installeres Lighttpd (LLMP Stack) på CentOS 6

Sådan installeres Lighttpd (LLMP Stack) på CentOS 6

Introduktion Lighttpd er en forgrening af Apache, der sigter mod at være meget mindre ressourcekrævende. Den er let, deraf navnet, og den er ret enkel at bruge. Installer

Konfiguration af statisk netværk og IPv6 på CentOS 7

Konfiguration af statisk netværk og IPv6 på CentOS 7

VULTR har for nylig foretaget ændringer i deres ende, og alt skulle nu fungere fint ud af boksen med NetworkManager aktiveret. Skulle du ønske at deaktivere

Ændring af Icinga2 til at bruge Master/Client Model på CentOS 6 eller CentOS 7

Ændring af Icinga2 til at bruge Master/Client Model på CentOS 6 eller CentOS 7

Icinga2 er et kraftfuldt overvågningssystem, og når det bruges i en master-klient-model, kan det erstatte behovet for NRPE-baserede overvågningstjek. Mester-klienten

Sådan installeres Apache Cassandra 3.11.x på CentOS 7

Sådan installeres Apache Cassandra 3.11.x på CentOS 7

Bruger du et andet system? Apache Cassandra er et gratis og open source NoSQL-databasestyringssystem, der er designet til at give skalerbarhed, høj

Sådan installeres Microweber på CentOS 7

Sådan installeres Microweber på CentOS 7

Bruger du et andet system? Microweber er en open source træk og slip CMS og online shop. Microweber-kildekoden er hostet på GitHub. Denne guide vil vise dig

Sådan installeres Mattermost 4.1 på CentOS 7

Sådan installeres Mattermost 4.1 på CentOS 7

Bruger du et andet system? Mattermost er et open source, selvhostet alternativ til Slack SAAS-meddelelsestjenesten. Med andre ord, med Mattermost er du ca

Oprettelse af et netværk af Minecraft-servere med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Oprettelse af et netværk af Minecraft-servere med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Hvad skal du bruge En Vultr VPS med mindst 1 GB RAM. SSH-adgang (med root/administrative rettigheder). Trin 1: Installation af BungeeCord Første ting først

Lad os kryptere på Plesk

Lad os kryptere på Plesk

Plesk-kontrolpanelet har en meget flot integration til Lets Encrypt. Lets Encrypt er en af ​​de eneste SSL-udbydere, der udleverer certifikater komplet

Lader kryptere på cPanel

Lader kryptere på cPanel

Lets Encrypt er en certifikatmyndighed dedikeret til at levere SSL-certifikater gratis. cPanel har bygget en pæn integration, så du og din klient

Sådan installeres Concrete5 på CentOS 7

Sådan installeres Concrete5 på CentOS 7

Bruger du et andet system? Concrete5 er et open source CMS, som tilbyder mange karakteristiske og nyttige funktioner til at hjælpe redaktører med at producere indhold nemt og

Sådan installeres Review Board på CentOS 7

Sådan installeres Review Board på CentOS 7

Bruger du et andet system? Review Board er et gratis og open source-værktøj til gennemgang af kildekode, dokumentation, billeder og mange flere. Det er webbaseret software

Konfigurer HTTP-godkendelse med Nginx på CentOS 7

Konfigurer HTTP-godkendelse med Nginx på CentOS 7

I denne vejledning lærer du, hvordan du opsætter HTTP-godkendelse for en Nginx-webserver, der kører på CentOS 7. Krav For at komme i gang skal du bruge

Sådan installeres YOURLS på CentOS 7

Sådan installeres YOURLS på CentOS 7

YOURLS (Your Own URL Shortener) er en open source URL-forkortelse og dataanalyseapplikation. I denne artikel vil vi dække installationsprocessen

Sådan installeres og konfigureres ArangoDB på CentOS 7

Sådan installeres og konfigureres ArangoDB på CentOS 7

Bruger du et andet system? Introduktion ArangoDB er en open source NoSQL-database med en fleksibel datamodel for dokumenter, grafer og nøgleværdier. det er

Brug af Etckeeper til versionskontrol af /etc

Brug af Etckeeper til versionskontrol af /etc

Introduktion /etc/-biblioteket spiller en afgørende rolle i den måde et Linux-system fungerer på. Årsagen til dette er, at næsten alle systemkonfigurationer

Hvorfor skal du bruge SSHFS? Sådan monteres et eksternt filsystem med SSHFS på CentOS 6

Hvorfor skal du bruge SSHFS? Sådan monteres et eksternt filsystem med SSHFS på CentOS 6

Mange systemadministratorer administrerer store mængder servere. Når filer skal tilgås på tværs af forskellige servere, logges ind på hver enkelt individuelt ca

Opsætning af en Half Life 2-server på CentOS 6

Opsætning af en Half Life 2-server på CentOS 6

Denne vejledning vil dække processen med at installere en Half Life 2-spilserver på CentOS 6 System. Trin 1: Installation af forudsætninger For at opsætte ou

Sådan installeres Laravel GitScrum på CentOS 7

Sådan installeres Laravel GitScrum på CentOS 7

Laravel GitScrum eller GitScrum er et open source-produktivitetsværktøj designet til at hjælpe udviklingsteams med at implementere Scrum-metoden på en måde, der ligner t.

The Rise of Machines: Real World Applications of AI

The Rise of Machines: Real World Applications of AI

Kunstig intelligens er ikke i fremtiden, det er her lige i nuet I denne blog Læs, hvordan kunstig intelligens-applikationer har påvirket forskellige sektorer.

DDOS-angreb: et kort overblik

DDOS-angreb: et kort overblik

Er du også et offer for DDOS-angreb og forvirret over forebyggelsesmetoderne? Læs denne artikel for at løse dine spørgsmål.

Har du nogensinde spekuleret på, hvordan tjener hackere penge?

Har du nogensinde spekuleret på, hvordan tjener hackere penge?

Du har måske hørt, at hackere tjener mange penge, men har du nogensinde spekuleret på, hvordan tjener de den slags penge? lad os diskutere.

Revolutionære opfindelser fra Google, der vil gøre dit liv lettere.

Revolutionære opfindelser fra Google, der vil gøre dit liv lettere.

Vil du se revolutionerende opfindelser fra Google, og hvordan disse opfindelser ændrede livet for ethvert menneske i dag? Læs derefter til bloggen for at se opfindelser fra Google.

Fredag ​​Essential: Hvad skete der med AI-drevne biler?

Fredag ​​Essential: Hvad skete der med AI-drevne biler?

Konceptet med selvkørende biler til at køre på vejene ved hjælp af kunstig intelligens er en drøm, vi har haft i et stykke tid nu. Men på trods af flere løfter er de ingen steder at se. Læs denne blog for at lære mere...

Teknologisk singularitet: En fjern fremtid for menneskelig civilisation?

Teknologisk singularitet: En fjern fremtid for menneskelig civilisation?

Efterhånden som videnskaben udvikler sig i et hurtigt tempo og overtager en stor del af vores indsats, stiger risikoen for at udsætte os selv for en uforklarlig Singularitet. Læs, hvad singularitet kunne betyde for os.

Udvikling af datalagring – Infografik

Udvikling af datalagring – Infografik

Opbevaringsmetoderne for dataene har været under udvikling, kan være siden fødslen af ​​dataene. Denne blog dækker udviklingen af ​​datalagring på basis af en infografik.

Funktioner af Big Data Reference Architecture Layers

Funktioner af Big Data Reference Architecture Layers

Læs bloggen for at kende forskellige lag i Big Data-arkitekturen og deres funktionaliteter på den enkleste måde.

6 fantastiske fordele ved at have smarte hjemmeenheder i vores liv

6 fantastiske fordele ved at have smarte hjemmeenheder i vores liv

I denne digitalt drevne verden er smarte hjemmeenheder blevet en afgørende del af livet. Her er et par fantastiske fordele ved smarte hjemmeenheder om, hvordan de gør vores liv værd at leve og enklere.

macOS Catalina 10.15.4-tillægsopdatering forårsager flere problemer end at løse

macOS Catalina 10.15.4-tillægsopdatering forårsager flere problemer end at løse

For nylig udgav Apple macOS Catalina 10.15.4 en supplerende opdatering for at løse problemer, men det ser ud til, at opdateringen forårsager flere problemer, hvilket fører til mursten af ​​mac-maskiner. Læs denne artikel for at lære mere