Kā instalēt Apache Kafka operētājsistēmā CentOS 7

Apache Kafka ir mērogojama un lielas caurlaidspējas ziņojumapmaiņas sistēma, kas spēj efektīvi apstrādāt milzīgu datu apjomu.

Varat izvietot Kafka vienā serverī vai izveidot izplatītu Kafka klasteru, lai nodrošinātu lielāku veiktspēju. Šajā rakstā ir paskaidrots, kā instalēt Apache Kafka vienā Vultr CentOS 7 servera instancē.

Priekšnosacījumi:

Pirms turpināt, jums vajadzētu:

• Izvietojiet Vultr CentOS 7 servera gadījumu. Atkarībā no jūsu vajadzībām, iespējams, būs jāpalielina pieejamā atmiņa.
• Izmantojiet sudo lietotāju, lai pieteiktos no sava SSH termināļa.

1. darbība: atjauniniet CentOS 7 sistēmu

Izmantojiet tālāk norādīto komandu, lai atjauninātu sistēmu uz jaunāko stabilo statusu:

sudo yum update -y && sudo reboot

Kad atsāknēšana ir pabeigta, izmantojiet to pašu sudo lietotāju, lai vēlreiz pieteiktos.

2. darbība. Instalējiet OpenJDK Runtime

Lai varētu pareizi palaist Apache Kafka, savā sistēmā ir jāiestata Java virtuālā mašīna. Šeit varat instalēt OpenJDK Runtime Environment 1.8.0, izmantojot YUM:

sudo yum install java-1.8.0-openjdk.x86_64

Apstipriniet savu instalāciju, izmantojot:

java -version

Izvadei jābūt līdzīgai:

openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)

Jums arī jāiestata vides mainīgie "JAVA_HOME" un "JRE_HOME":

sudo vi /etc/profile

Pievienojiet faila sākotnējam saturam šādas rindiņas:

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre

Saglabāt un iziet:

:wq

Atkārtoti ielādējiet profilu, lai izmaiņas stātos spēkā:

source /etc/profile

3. darbība. Lejupielādējiet Apache Kafka

Lejupielādējiet jaunāko stabilo Apache Kafka versiju no oficiālās vietnes. Rakstīšanas laikā tas ir 0.9.0.1.

cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz

Izsaiņojiet arhīvu vēlamajā vietā, piemēram /opt:

tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt

4. darbība. Sāciet un pārbaudiet Apache Kafka

Šobrīd jūsu sistēmā ir pieejams Apache Kafka. Dosim tam testa braucienu.

4.1: nokļūstiet Kafka direktorijā

cd /opt/kafka_2.11-0.9.0.1

4.2: startējiet serveri Zookeeper

bin/zookeeper-server-start.sh -daemon config/zookeeper.properties

4.3: mainiet sava Kafka servera konfigurāciju

 vi bin/kafka-server-start.sh

Pielāgojiet atmiņas lietojumu atbilstoši jūsu konkrētajiem sistēmas parametriem. Piemēram, ja testa vidē izmantojat Vultr servera gadījumu ar 768 MB atmiņu, jums jāatrod šī rinda:

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

Nomainiet to ar:

export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"

Saglabājiet atmest:

:wq

4.4: startējiet Kafka serveri

bin/kafka-server-start.sh config/server.properties

Ja viss noritēja veiksmīgi, jūs redzēsit vairākus ziņojumus par Kafka servera statusu, un pēdējais būs šāds:

INFO [Kafka Server 0], started (kafka.server.KafkaServer)

Tas nozīmē, ka esat startējis Kafka serveri.

4.5: Izveidojiet tēmu "tests" jaunā SSH savienojumā

Atveriet jaunu SSH savienojumu, izmantojiet šādas komandas, lai izveidotu tēmu "tests":

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

Varat skatīt savas tēmas, izmantojot šādu komandu:

bin/kafka-topics.sh --list --zookeeper localhost:2181

Mūsu gadījumā izvade skanēs:

test

4.6: veidojiet ziņojumus, izmantojot tēmu "tests"

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

Izmantojot iepriekš minēto komandu, varat ievadīt jebkādu skaitu ziņojumu, piemēram:

Welcome aboard!
Bonjour!

Ja tiek parādīts kļūdas "WARN Error while fetching metadata with correlation id"ziņojums, kas līdzīgs ziņojuma ievades laikā, server.propertiesfails ir jāatjaunina ar šādu informāciju:

port = 9092
advertised.host.name = localhost 

4.7: parādīt ziņojumus

Atveriet trešo SSH savienojumu un pēc tam palaidiet šādas komandas:

cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning

Ta-da! Iepriekš sagatavotie ziņojumi tiks parādīti trešajā SSH savienojumā. Protams, ja tagad ievadīsit vairāk ziņojumu no otrā SSH savienojuma, jūs tos uzreiz redzēsit trešajā SSH savienojumā.

Visbeidzot, katrā SSH savienojumā varat nospiest taustiņu kombināciju Ctrl+C, lai apturētu šos skriptus.

Tieši tā. Jūs varat uzzināt vairāk par Apache Kafka oficiālajā tīmekļa vietnē. Izklaidējies!