Az Apache Kafka egy méretezhető és nagy áteresztőképességű üzenetküldő rendszer, amely hatalmas mennyiségű adat hatékony kezelésére képes.
A nagyobb teljesítmény érdekében telepítheti a Kafkát egy kiszolgálón, vagy létrehozhat egy elosztott Kafka-fürtöt. Kezdőként ez a cikk elmagyarázza, hogyan telepíthető az Apache Kafka egyetlen Vultr CentOS 7 kiszolgálópéldányra.
Mielőtt továbblépne, a következőket kell tennie:
Az alábbi paranccsal frissítheti a rendszert a legújabb stabil állapotra:
sudo yum update -y && sudo reboot
Az újraindítás után ugyanazt a sudo felhasználót használja a bejelentkezéshez.
Az Apache Kafka megfelelő futtatása előtt be kell állítania egy Java virtuális gépet a rendszeren. Itt telepítheti az OpenJDK Runtime Environment 1.8.0-t a YUM használatával:
sudo yum install java-1.8.0-openjdk.x86_64
Érvényesítse a telepítést a következővel:
java -version
A kimenetnek hasonlónak kell lennie:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Ezenkívül be kell állítania a "JAVA_HOME" és a "JRE_HOME" környezeti változókat:
sudo vi /etc/profile
A fájl eredeti tartalmához fűzze a következő sorokat:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Mentés és kilépés:
:wq
A módosítások életbe léptetéséhez töltse be újra a profilt:
source /etc/profile
Töltse le az Apache Kafka legújabb stabil verzióját a hivatalos webhelyről. Az írás idején ez 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Csomagolja ki az archívumot egy kívánt helyre, például /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Ezen a ponton az Apache Kafka elérhető a rendszeren. Tegyünk egy próbát.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Állítsa be a memóriahasználatot az adott rendszerparamétereknek megfelelően. Ha például egy Vultr szerverpéldányt használ 768 MB memóriával a tesztkörnyezetben, akkor meg kell keresnie a következő sort:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Cserélje ki:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Kilépés mentése:
:wq
bin/kafka-server-start.sh config/server.properties
Ha minden sikeresen ment, több üzenetet fog látni a Kafka szerver állapotáról, és az utolsó a következő:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Ez azt jelenti, hogy elindította a Kafka szervert.
Nyisson meg egy új SSH-kapcsolatot, és használja a következő parancsokat a "teszt" témakör létrehozásához:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
A témaköreit a következő paranccsal tekintheti meg:
bin/kafka-topics.sh --list --zookeeper localhost:2181
A mi esetünkben a kimenet a következő lesz:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
A fenti paranccsal tetszőleges számú üzenetet írhat be, például:
Welcome aboard!
Bonjour!
Ha "WARN Error while fetching metadata with correlation id"az üzenet bevitele közben tapasztalthoz hasonló hibaüzenetet kap , frissítenie kell a server.propertiesfájlt a következő adatokkal:
port = 9092
advertised.host.name = localhost
Nyisson meg egy harmadik SSH-kapcsolatot, majd futtassa a következő parancsokat:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! A korábban létrehozott üzenetek a harmadik SSH-kapcsolatban jelennek meg. Természetesen, ha most több üzenetet ad meg a második SSH-kapcsolatról, azonnal látni fogja azokat a harmadik SSH-kapcsolaton.
Végül minden SSH-kapcsolaton lenyomhatja a Ctrl+C billentyűkombinációt a szkriptek leállításához.
Ez az. Az Apache Kafkáról többet megtudhat a hivatalos weboldalon. Érezd jól magad!
Ez az oktatóanyag végigvezeti Önt a Vultrs rendszerekkel kompatibilis Windows ISO létrehozásának folyamatán. Itt megtanulhatja az <>Windows ISO<> előállításának lépéseit az NTLite segítségével.
A mesterséges intelligencia nem a jövőben, hanem itt a jelenben. Ebben a blogban Olvassa el, hogyan hatott a mesterséges intelligencia alkalmazások különböző ágazatokra.
Ön is DDOS támadások áldozata, és tanácstalan a megelőzési módszereket illetően? Olvassa el ezt a cikket a kérdések megoldásához.
Talán hallottál már arról, hogy a hackerek sok pénzt keresnek, de elgondolkodtál már azon, hogyan kereshetnek ennyi pénzt? beszéljük meg.
Szeretné látni a Google forradalmi találmányait, és azt, hogy ezek a találmányok hogyan változtatták meg minden mai ember életét? Ezután olvassa el a blogot, és nézze meg a Google találmányait.
Az önvezető autók koncepciója, hogy mesterséges intelligencia segítségével kerüljenek az utakra, már egy ideje álmunk. De számos ígéret ellenére sehol sem látszanak. Olvassa el ezt a blogot, hogy többet megtudjon…
Ahogy a tudomány gyors ütemben fejlődik, átveszi erőfeszítéseink nagy részét, megnő annak a kockázata is, hogy alávetjük magunkat egy megmagyarázhatatlan szingularitásnak. Olvassa el, mit jelenthet számunkra a szingularitás.
Olvassa el a blogot, hogy a legegyszerűbb módon ismerje meg a Big Data Architecture különböző rétegeit és azok funkcióit.
Az adatok tárolási módjai az Adatok születése óta alakulhatnak. Ez a blog egy infografika alapján mutatja be az adattárolás fejlődését.
Ebben a digitálisan vezérelt világban az intelligens otthoni eszközök az élet döntő részévé váltak. Íme az intelligens otthoni eszközök néhány elképesztő előnye, hogyan teszik életünket érdemessé és egyszerűbbé.
