Hur man installerar Apache Kafka på CentOS 7

Apache Kafka är ett skalbart meddelandesystem med hög genomströmning som effektivt kan hantera en enorm mängd data.

Du kan antingen distribuera Kafka på en server eller bygga ett distribuerat Kafka-kluster för bättre prestanda. Till att börja med förklarar den här artikeln hur man installerar Apache Kafka på en enda Vultr CentOS 7-serverinstans.

Förutsättningar:

Innan du går vidare bör du:

  • Distribuera en Vultr CentOS 7-serverinstans. Beroende på dina behov kan du behöva utöka det tillgängliga minnet.
  • Använd en sudo-användare för att logga in från din SSH-terminal.

Steg 1: Uppdatera CentOS 7-systemet

Använd kommandot nedan för att uppdatera ditt system till den senaste stabila statusen:

sudo yum update -y && sudo reboot

När omstarten är klar använder du samma sudo-användare för att logga in igen.

Steg 2: Installera OpenJDK Runtime

Du måste ställa in en virtuell Java-maskin på ditt system innan du kan köra Apache Kafka ordentligt. Här kan du installera OpenJDK Runtime Environment 1.8.0 med YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Validera din installation med:

java -version

Utgången ska likna:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Du måste också ställa in miljövariablerna "JAVA_HOME" och "JRE_HOME":

sudo vi /etc/profile

Lägg till följande rader till det ursprungliga innehållet i filen:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Spara och avsluta:

:wq

Ladda om profilen för att sätta dina ändringar i kraft:

source /etc/profile

Steg 3: Ladda ner Apache Kafka

Ladda ner den senaste stabila versionen av Apache Kafka från den officiella webbplatsen. I skrivande stund är det 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Packa upp arkivet till en önskad plats, till exempel /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

Steg 4: Starta och testa Apache Kafka

Vid denna tidpunkt är Apache Kafka tillgänglig på ditt system. Låt oss provköra den.

4.1: Gå in i Kafka-katalogen

cd /opt/kafka_2.11-0.9.0.1

4.2: Starta Zookeeper-servern

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: Ändra konfigurationen av din Kafka-server

 vi bin/kafka-server-start.sh

Justera minnesanvändningen enligt dina specifika systemparametrar. Om du till exempel använder en Vultr-serverinstans med 768 MB minne i testmiljön, måste du hitta följande rad:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Byt ut den mot:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Spara ett slut:

:wq

4.4: Starta Kafka-servern

bin/kafka-server-start.sh config/server.properties

Om allt gick framgångsrikt kommer du att se flera meddelanden om Kafka-serverns status, och det sista kommer att läsa:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Det betyder att du har startat Kafka-servern.

4.5: Skapa ett ämne "test" i en ny SSH-anslutning

Öppna en ny SSH-anslutning, använd följande kommandon för att skapa ett ämne "test":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Du kan se dina ämnen med följande kommando:

bin/kafka-topics.sh --list --zookeeper localhost:2181

I vårt fall kommer utdata att läsa:

test

4.6: Skapa meddelanden med ämnet "test"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Med kommandot ovan kan du mata in valfritt antal meddelanden som du vill, till exempel:

Welcome aboard!
Bonjour!

Om du får ett felmeddelande som liknar "WARN Error while fetching metadata with correlation id"när du matar in ett meddelande, måste du uppdatera server.propertiesfilen med följande information:

port = 9092
advertised.host.name = localhost 

4.7: Visa meddelanden

Öppna en tredje SSH-anslutning och kör sedan följande kommandon:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Meddelanden du producerade tidigare kommer att visas i den tredje SSH-anslutningen. Naturligtvis, om du matar in fler meddelanden från den andra SSH-anslutningen nu, kommer du omedelbart att se dem på den tredje SSH-anslutningen.

Slutligen kan du trycka på Ctrl+C på varje SSH-anslutning för att stoppa dessa skript.

Det är allt. Du kan lära dig mer om Apache Kafka på den officiella hemsidan. Ha så kul!


Installera Plesk på CentOS 7

Installera Plesk på CentOS 7

Använder du ett annat system? Plesk är en egen kontrollpanel för webbhotell som tillåter användare att administrera sina personliga och/eller klienters webbplatser, databaser

Hur man installerar Squid Proxy på CentOS

Hur man installerar Squid Proxy på CentOS

Squid är ett populärt, gratis Linux-program som låter dig skapa en webbproxy för vidarebefordran. I den här guiden ser du hur du installerar Squid på CentOS för att förvandla dig

Hur man installerar Lighttpd (LLMP Stack) på CentOS 6

Hur man installerar Lighttpd (LLMP Stack) på CentOS 6

Inledning Lighttpd är en apachegaffel som syftar till att vara mycket mindre resurskrävande. Den är lätt, därav namnet, och är ganska enkel att använda. Installera

Konfigurera statiskt nätverk och IPv6 på CentOS 7

Konfigurera statiskt nätverk och IPv6 på CentOS 7

VULTR har nyligen gjort ändringar på deras sida, och allt borde nu fungera bra direkt när NetworkManager är aktiverat. Om du vill inaktivera

Ändra Icinga2 för att använda Master/Client Model på CentOS 6 eller CentOS 7

Ändra Icinga2 för att använda Master/Client Model på CentOS 6 eller CentOS 7

Icinga2 är ett kraftfullt övervakningssystem, och när det används i en master-klient-modell kan det ersätta behovet av NRPE-baserade övervakningskontroller. Master-klienten

Hur man installerar Apache Cassandra 3.11.x på CentOS 7

Hur man installerar Apache Cassandra 3.11.x på CentOS 7

Använder du ett annat system? Apache Cassandra är ett gratis NoSQL-databashanteringssystem med öppen källkod som är designat för att ge skalbarhet, hög

Hur man installerar Microweber på CentOS 7

Hur man installerar Microweber på CentOS 7

Använder du ett annat system? Microweber är en öppen källkod för dra och släpp CMS och onlinebutik. Microweber källkod finns på GitHub. Denna guide kommer att visa dig

Hur man installerar Vanilla Forum på CentOS 7

Hur man installerar Vanilla Forum på CentOS 7

Använder du ett annat system? Vanilla forum är en open source forumapplikation skriven i PHP. Det är en helt anpassningsbar, enkel att använda och stöder externa

Hur man installerar Mattermost 4.1 på CentOS 7

Hur man installerar Mattermost 4.1 på CentOS 7

Använder du ett annat system? Mattermost är ett alternativ med öppen källkod, självvärd till meddelandetjänsten Slack SAAS. Med andra ord, med Mattermost, du ca

Skapa ett nätverk av Minecraft-servrar med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Skapa ett nätverk av Minecraft-servrar med BungeeCord på Debian 8, Debian 9 eller CentOS 7

Vad du behöver En Vultr VPS med minst 1 GB RAM. SSH-åtkomst (med root-/administrativa privilegier). Steg 1: Installera BungeeCord Först till kvarn

Låt oss kryptera på Plesk

Låt oss kryptera på Plesk

Plesks kontrollpanel har en mycket trevlig integration för Lets Encrypt. Lets Encrypt är en av de enda SSL-leverantörerna som ger ut certifikat fullständigt

Låter kryptera på cPanel

Låter kryptera på cPanel

Lets Encrypt är en certifikatmyndighet dedikerad till att tillhandahålla SSL-certifikat gratis. cPanel har byggt en snygg integration så att du och din klient

Hur man installerar Concrete5 på CentOS 7

Hur man installerar Concrete5 på CentOS 7

Använder du ett annat system? Concrete5 är ett CMS med öppen källkod som erbjuder många distinkta och användbara funktioner för att hjälpa redaktörer att producera innehåll enkelt och

Hur man installerar Review Board på CentOS 7

Hur man installerar Review Board på CentOS 7

Använder du ett annat system? Review Board är ett gratis och öppen källkodsverktyg för att granska källkod, dokumentation, bilder och många fler. Det är webbaserad mjukvara

Ställ in HTTP-autentisering med Nginx på CentOS 7

Ställ in HTTP-autentisering med Nginx på CentOS 7

I den här guiden lär du dig hur du ställer in HTTP-autentisering för en Nginx-webbserver som körs på CentOS 7. Krav För att komma igång behöver du

Hur man installerar YOURLS på CentOS 7

Hur man installerar YOURLS på CentOS 7

YOURLS (Your Own URL Shortener) är ett webbadressförkortnings- och dataanalysprogram med öppen källkod. I den här artikeln kommer vi att täcka installationsprocessen

Hur man installerar och konfigurerar ArangoDB på CentOS 7

Hur man installerar och konfigurerar ArangoDB på CentOS 7

Använder du ett annat system? Inledning ArangoDB är en NoSQL-databas med öppen källkod med en flexibel datamodell för dokument, grafer och nyckel-värden. Det är

Använda Etckeeper för versionskontroll av /etc

Använda Etckeeper för versionskontroll av /etc

Inledning Katalogen /etc/ spelar en avgörande roll för hur ett Linux-system fungerar. Anledningen till detta är att nästan varje systemkonfiguration

Varför ska du använda SSHFS? Hur man monterar ett fjärrfilsystem med SSHFS på CentOS 6

Varför ska du använda SSHFS? Hur man monterar ett fjärrfilsystem med SSHFS på CentOS 6

Många systemadministratörer hanterar stora mängder servrar. När filer behöver nås över olika servrar, logga in på var och en individuellt ca

Konfigurera en Half Life 2-server på CentOS 6

Konfigurera en Half Life 2-server på CentOS 6

Denna handledning kommer att täcka processen att installera en Half Life 2-spelserver på CentOS 6 System. Steg 1: Installera förutsättningarna För att ställa in ou

The Rise of Machines: Real World Applications of AI

The Rise of Machines: Real World Applications of AI

Artificiell intelligens är inte i framtiden, det är här i nuet I den här bloggen Läs hur Artificiell intelligens-applikationer har påverkat olika sektorer.

DDOS-attacker: En kort översikt

DDOS-attacker: En kort översikt

Är du också ett offer för DDOS-attacker och förvirrad över de förebyggande metoderna? Läs den här artikeln för att lösa dina frågor.

Har du någonsin undrat hur hackare tjänar pengar?

Har du någonsin undrat hur hackare tjänar pengar?

Du kanske har hört att hackare tjänar mycket pengar, men har du någonsin undrat hur de tjänar den typen av pengar? låt oss diskutera.

Revolutionerande uppfinningar från Google som gör ditt liv lätt.

Revolutionerande uppfinningar från Google som gör ditt liv lätt.

Vill du se revolutionerande uppfinningar av Google och hur dessa uppfinningar förändrade livet för varje människa idag? Läs sedan till bloggen för att se uppfinningar av Google.

Fredag ​​Essential: Vad hände med AI-drivna bilar?

Fredag ​​Essential: Vad hände med AI-drivna bilar?

Konceptet med att självkörande bilar ska ut på vägarna med hjälp av artificiell intelligens är en dröm vi har ett tag nu. Men trots flera löften finns de ingenstans att se. Läs den här bloggen för att lära dig mer...

Technological Singularity: A Distant Future of Human Civilization?

Technological Singularity: A Distant Future of Human Civilization?

När vetenskapen utvecklas i snabb takt och tar över en hel del av våra ansträngningar, ökar också riskerna för att utsätta oss för en oförklarlig singularitet. Läs, vad singularitet kan betyda för oss.

Utveckling av datalagring – Infographic

Utveckling av datalagring – Infographic

Lagringsmetoderna för data har utvecklats kan vara sedan födelsen av data. Den här bloggen tar upp utvecklingen av datalagring på basis av en infografik.

Funktioner för Big Data Reference Architecture Layers

Funktioner för Big Data Reference Architecture Layers

Läs bloggen för att känna till olika lager i Big Data Architecture och deras funktionaliteter på enklaste sätt.

6 fantastiska fördelar med att ha smarta hemenheter i våra liv

6 fantastiska fördelar med att ha smarta hemenheter i våra liv

I denna digitala värld har smarta hemenheter blivit en avgörande del av livet. Här är några fantastiska fördelar med smarta hemenheter om hur de gör vårt liv värt att leva och enklare.

macOS Catalina 10.15.4 tilläggsuppdatering orsakar fler problem än att lösa

macOS Catalina 10.15.4 tilläggsuppdatering orsakar fler problem än att lösa

Nyligen släppte Apple macOS Catalina 10.15.4, en tilläggsuppdatering för att åtgärda problem, men det verkar som om uppdateringen orsakar fler problem som leder till att mac-datorer blir murade. Läs den här artikeln för att lära dig mer