Hvordan installere Apache Kafka på CentOS 7

Apache Kafka er et skalerbart meldingssystem med høy gjennomstrømming som er i stand til effektivt å håndtere en enorm mengde data.

Du kan enten distribuere Kafka på én server eller bygge en distribuert Kafka-klynge for bedre ytelse. Som en startforklaring forklarer denne artikkelen hvordan du installerer Apache Kafka på én enkelt Vultr CentOS 7-serverforekomst.

Forutsetninger:

Før du går videre bør du:

  • Distribuer en Vultr CentOS 7-serverforekomst. Avhengig av dine behov, kan det hende du må øke tilgjengelig minne.
  • Bruk en sudo-bruker til å logge på fra SSH-terminalen din.

Trinn 1: Oppdater CentOS 7-systemet

Bruk kommandoen nedenfor for å oppdatere systemet til siste stabile status:

sudo yum update -y && sudo reboot

Etter omstarten er fullført, bruk den samme sudo-brukeren til å logge på igjen.

Trinn 2: Installer OpenJDK Runtime

Du må sette opp en virtuell Java-maskin på systemet ditt før du kan kjøre Apache Kafka riktig. Her kan du installere OpenJDK Runtime Environment 1.8.0 ved å bruke YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Bekreft installasjonen din med:

java -version

Utgangen skal ligne:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Du må også sette opp miljøvariablene "JAVA_HOME" og "JRE_HOME":

sudo vi /etc/profile

Legg til følgende linjer til det originale innholdet i filen:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Lagre og avslutt:

:wq

Last inn profilen på nytt for å sette endringene i kraft:

source /etc/profile

Trinn 3: Last ned Apache Kafka

Last ned den siste stabile versjonen av Apache Kafka fra den offisielle nettsiden. I skrivende stund er det 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Pakk ut arkivet til en foretrukket plassering, for eksempel /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Trinn 4: Start og test Apache Kafka

På dette tidspunktet er Apache Kafka tilgjengelig på systemet ditt. La oss prøvekjøre den.

4.1: Gå inn i Kafka-katalogen

cd /opt/kafka_2.11-0.9.0.1

4.2: Start Zookeeper-serveren

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Endre konfigurasjonen av Kafka-serveren din

 vi bin/kafka-server-start.sh

Juster minnebruken i henhold til dine spesifikke systemparametere. Hvis du for eksempel bruker en Vultr-serverforekomst med 768 MB minne i testmiljøet, må du finne følgende linje:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Erstatt den med:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Lagre en avslutning:

:wq

4.4: Start Kafka-serveren

bin/kafka-server-start.sh config/server.properties

Hvis alt gikk vellykket, vil du se flere meldinger om Kafka-serverens status, og den siste vil lese:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Dette betyr at du har startet Kafka-serveren.

4.5: Opprett en emne "test" i en ny SSH-tilkobling

Åpne en ny SSH-tilkobling, bruk følgende kommandoer for å lage et emne "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Du kan se emnene dine med følgende kommando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

I vårt tilfelle vil utgangen lese:

test

4.6: Lag meldinger ved å bruke emnet "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Ved å bruke kommandoen ovenfor kan du legge inn et hvilket som helst antall meldinger du ønsker, for eksempel:

Welcome aboard!
Bonjour!

Hvis du får en feilmelding som ligner på "WARN Error while fetching metadata with correlation id"når du skriver inn en melding, må du oppdatere server.propertiesfilen med følgende informasjon:

port = 9092
advertised.host.name = localhost 

4.7: Vis meldinger

Åpne en tredje SSH-tilkobling, og kjør deretter følgende kommandoer:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Meldingene du produserte tidligere vil vises i den tredje SSH-tilkoblingen. Selvfølgelig, hvis du legger inn flere meldinger fra den andre SSH-tilkoblingen nå, vil du umiddelbart se dem på den tredje SSH-tilkoblingen.

Til slutt kan du trykke Ctrl+C på hver SSH-tilkobling for å stoppe disse skriptene.

Det er det. Du kan lære mer om Apache Kafka på den offisielle nettsiden. Ha det gøy!


Installer Plesk på CentOS 7

Installer Plesk på CentOS 7

Bruker du et annet system? Plesk er et proprietært kontrollpanel for webverten som lar brukere administrere sine personlige og/eller klienters nettsteder, databaser

Slik installerer du Squid Proxy på CentOS

Slik installerer du Squid Proxy på CentOS

Squid er et populært, gratis Linux-program som lar deg lage en webproxy for videresending. I denne veiledningen vil du se hvordan du installerer Squid på CentOS for å gjøre deg om

Slik installerer du Lighttpd (LLMP Stack) på CentOS 6

Slik installerer du Lighttpd (LLMP Stack) på CentOS 6

Introduksjon Lighttpd er en apachegaffel som har som mål å være mye mindre ressurskrevende. Den er lett, derav navnet, og er ganske enkel å bruke. Installer

Konfigurering av statisk nettverk og IPv6 på CentOS 7

Konfigurering av statisk nettverk og IPv6 på CentOS 7

VULTR har nylig gjort endringer på sin side, og alt skal nå fungere bra ut av boksen med NetworkManager aktivert. Skulle du ønske å deaktivere

Endring av Icinga2 for å bruke hoved-/klientmodell på CentOS 6 eller CentOS 7

Endring av Icinga2 for å bruke hoved-/klientmodell på CentOS 6 eller CentOS 7

Icinga2 er et kraftig overvåkingssystem, og når det brukes i en master-klient-modell, kan det erstatte behovet for NRPE-baserte overvåkingskontroller. Mester-klienten

Slik installerer du Apache Cassandra 3.11.x på CentOS 7

Slik installerer du Apache Cassandra 3.11.x på CentOS 7

Bruker du et annet system? Apache Cassandra er et gratis og åpen kildekode NoSQL-databasebehandlingssystem som er designet for å gi skalerbarhet, høy

Slik installerer du Microweber på CentOS 7

Slik installerer du Microweber på CentOS 7

Bruker du et annet system? Microweber er en åpen kildekode dra og slipp CMS og nettbutikk. Microweber-kildekoden er vert på GitHub. Denne guiden vil vise deg

Hvordan installere Vanilla Forum på CentOS 7

Hvordan installere Vanilla Forum på CentOS 7

Bruker du et annet system? Vanilla forum er en åpen kildekode-forumapplikasjon skrevet i PHP. Det er en fullt tilpassbar, enkel å bruke og støtter ekstern

Slik installerer du Mattermost 4.1 på CentOS 7

Slik installerer du Mattermost 4.1 på CentOS 7

Bruker du et annet system? Mattermost er et åpen kildekode, selvdrevet alternativ til Slack SAAS-meldingstjenesten. Med andre ord, med Mattermost kan du ca

Opprette et nettverk av Minecraft-servere med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Opprette et nettverk av Minecraft-servere med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Hva du trenger En Vultr VPS med minst 1 GB RAM. SSH-tilgang (med root/administratorrettigheter). Trinn 1: Installere BungeeCord Først

La oss kryptere på Plesk

La oss kryptere på Plesk

Plesk-kontrollpanelet har en veldig fin integrasjon for Lets Encrypt. Lets Encrypt er en av de eneste SSL-leverandørene som gir ut sertifikater komplett

La oss kryptere på cPanel

La oss kryptere på cPanel

Lets Encrypt er en sertifiseringsinstans dedikert til å tilby SSL-sertifikater gratis. cPanel har bygget en ryddig integrasjon slik at du og din klient

Hvordan installere Concrete5 på CentOS 7

Hvordan installere Concrete5 på CentOS 7

Bruker du et annet system? Concrete5 er et åpen kildekode CMS som tilbyr mange karakteristiske og nyttige funksjoner for å hjelpe redaktører med å produsere innhold enkelt og

Slik installerer du Review Board på CentOS 7

Slik installerer du Review Board på CentOS 7

Bruker du et annet system? Review Board er et gratis og åpen kildekodeverktøy for gjennomgang av kildekode, dokumentasjon, bilder og mye mer. Det er nettbasert programvare

Sett opp HTTP-autentisering med Nginx på CentOS 7

Sett opp HTTP-autentisering med Nginx på CentOS 7

I denne veiledningen lærer du hvordan du setter opp HTTP-autentisering for en Nginx-webserver som kjører på CentOS 7. Krav For å komme i gang trenger du

Slik installerer du GoAccess på CentOS 7

Slik installerer du GoAccess på CentOS 7

Bruker du et annet system? GoAccess er en åpen kildekode-nettlogganalysator. Du kan bruke den til analyse av logger på sanntidsbasis i enten terminalen eller

Hvordan installere YOURLS på CentOS 7

Hvordan installere YOURLS på CentOS 7

YOURLS (Your Own URL Shortener) er en åpen kildekode-applikasjon for URL-forkorting og dataanalyse. I denne artikkelen vil vi dekke installasjonsprosessen

Hvordan installere og konfigurere ArangoDB på CentOS 7

Hvordan installere og konfigurere ArangoDB på CentOS 7

Bruker du et annet system? Introduksjon ArangoDB er en åpen kildekode NoSQL-database med en fleksibel datamodell for dokumenter, grafer og nøkkelverdier. Det er

Bruke Etckeeper for versjonskontroll av /etc

Bruke Etckeeper for versjonskontroll av /etc

Innledning /etc/-katalogen spiller en kritisk rolle i måten et Linux-system fungerer på. Grunnen til dette er fordi nesten alle systemkonfigurasjoner

Hvorfor bør du bruke SSHFS? Hvordan montere et eksternt filsystem med SSHFS på CentOS 6

Hvorfor bør du bruke SSHFS? Hvordan montere et eksternt filsystem med SSHFS på CentOS 6

Mange systemadministratorer administrerer store mengder servere. Når filer må åpnes på tvers av forskjellige servere, logger du på hver enkelt individuelt ca

The Rise of Machines: Real World Applications of AI

The Rise of Machines: Real World Applications of AI

Kunstig intelligens er ikke i fremtiden, det er her akkurat i nåtiden I denne bloggen Les hvordan kunstig intelligens-applikasjoner har påvirket ulike sektorer.

DDOS-angrep: en kort oversikt

DDOS-angrep: en kort oversikt

Er du også et offer for DDOS-angrep og forvirret over forebyggingsmetodene? Les denne artikkelen for å løse spørsmålene dine.

Har du noen gang lurt på hvordan hackere tjener penger?

Har du noen gang lurt på hvordan hackere tjener penger?

Du har kanskje hørt at hackere tjener mye penger, men har du noen gang lurt på hvordan tjener de den slags penger? la oss diskutere.

Revolusjonerende oppfinnelser fra Google som vil gjøre livet ditt enkelt.

Revolusjonerende oppfinnelser fra Google som vil gjøre livet ditt enkelt.

Vil du se revolusjonerende oppfinnelser fra Google og hvordan disse oppfinnelsene forandret livet til alle mennesker i dag? Les deretter til bloggen for å se oppfinnelser fra Google.

Fredag ​​Essential: Hva skjedde med AI-drevne biler?

Fredag ​​Essential: Hva skjedde med AI-drevne biler?

Konseptet med selvkjørende biler som skal ut på veiene ved hjelp av kunstig intelligens er en drøm vi har hatt en stund nå. Men til tross for flere løfter, er de ingen steder å se. Les denne bloggen for å lære mer...

Teknologisk singularitet: en fjern fremtid for menneskelig sivilisasjon?

Teknologisk singularitet: en fjern fremtid for menneskelig sivilisasjon?

Ettersom vitenskapen utvikler seg raskt og tar over mye av innsatsen vår, øker også risikoen for å utsette oss for en uforklarlig singularitet. Les hva singularitet kan bety for oss.

Evolusjon av datalagring – infografikk

Evolusjon av datalagring – infografikk

Lagringsmetodene for dataene har vært i utvikling kan være siden fødselen av dataene. Denne bloggen dekker utviklingen av datalagring på grunnlag av en infografikk.

Funksjonaliteter til Big Data Reference Architecture Layers

Funksjonaliteter til Big Data Reference Architecture Layers

Les bloggen for å kjenne ulike lag i Big Data Architecture og deres funksjoner på den enkleste måten.

6 fantastiske fordeler ved å ha smarte hjemmeenheter i livene våre

6 fantastiske fordeler ved å ha smarte hjemmeenheter i livene våre

I denne digitaldrevne verden har smarthusenheter blitt en avgjørende del av livet. Her er noen fantastiske fordeler med smarthusenheter om hvordan de gjør livet vårt verdt å leve og enklere.

macOS Catalina 10.15.4 tilleggsoppdatering forårsaker flere problemer enn å løse

macOS Catalina 10.15.4 tilleggsoppdatering forårsaker flere problemer enn å løse

Nylig lanserte Apple macOS Catalina 10.15.4 en tilleggsoppdatering for å fikse problemer, men det ser ut til at oppdateringen forårsaker flere problemer som fører til muring av mac-maskiner. Les denne artikkelen for å lære mer