Az Apache Kafka egy méretezhető és nagy áteresztőképességű üzenetküldő rendszer, amely hatalmas mennyiségű adat hatékony kezelésére képes.
A nagyobb teljesítmény érdekében telepítheti a Kafkát egy kiszolgálón, vagy létrehozhat egy elosztott Kafka-fürtöt. Kezdőként ez a cikk elmagyarázza, hogyan telepíthető az Apache Kafka egyetlen Vultr CentOS 7 kiszolgálópéldányra.
Mielőtt továbblépne, a következőket kell tennie:
Az alábbi paranccsal frissítheti a rendszert a legújabb stabil állapotra:
sudo yum update -y && sudo reboot
Az újraindítás után ugyanazt a sudo felhasználót használja a bejelentkezéshez.
Az Apache Kafka megfelelő futtatása előtt be kell állítania egy Java virtuális gépet a rendszeren. Itt telepítheti az OpenJDK Runtime Environment 1.8.0-t a YUM használatával:
sudo yum install java-1.8.0-openjdk.x86_64
Érvényesítse a telepítést a következővel:
java -version
A kimenetnek hasonlónak kell lennie:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Ezenkívül be kell állítania a "JAVA_HOME" és a "JRE_HOME" környezeti változókat:
sudo vi /etc/profile
A fájl eredeti tartalmához fűzze a következő sorokat:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Mentés és kilépés:
:wq
A módosítások életbe léptetéséhez töltse be újra a profilt:
source /etc/profile
Töltse le az Apache Kafka legújabb stabil verzióját a hivatalos webhelyről. Az írás idején ez 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Csomagolja ki az archívumot egy kívánt helyre, például /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Ezen a ponton az Apache Kafka elérhető a rendszeren. Tegyünk egy próbát.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Állítsa be a memóriahasználatot az adott rendszerparamétereknek megfelelően. Ha például egy Vultr szerverpéldányt használ 768 MB memóriával a tesztkörnyezetben, akkor meg kell keresnie a következő sort:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Cserélje ki:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Kilépés mentése:
:wq
bin/kafka-server-start.sh config/server.properties
Ha minden sikeresen ment, több üzenetet fog látni a Kafka szerver állapotáról, és az utolsó a következő:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Ez azt jelenti, hogy elindította a Kafka szervert.
Nyisson meg egy új SSH-kapcsolatot, és használja a következő parancsokat a "teszt" témakör létrehozásához:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
A témaköreit a következő paranccsal tekintheti meg:
bin/kafka-topics.sh --list --zookeeper localhost:2181
A mi esetünkben a kimenet a következő lesz:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
A fenti paranccsal tetszőleges számú üzenetet írhat be, például:
Welcome aboard!
Bonjour!
Ha "WARN Error while fetching metadata with correlation id"az üzenet bevitele közben tapasztalthoz hasonló hibaüzenetet kap , frissítenie kell a server.propertiesfájlt a következő adatokkal:
port = 9092
advertised.host.name = localhost
Nyisson meg egy harmadik SSH-kapcsolatot, majd futtassa a következő parancsokat:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Ta-da! A korábban létrehozott üzenetek a harmadik SSH-kapcsolatban jelennek meg. Természetesen, ha most több üzenetet ad meg a második SSH-kapcsolatról, azonnal látni fogja azokat a harmadik SSH-kapcsolaton.
Végül minden SSH-kapcsolaton lenyomhatja a Ctrl+C billentyűkombinációt a szkriptek leállításához.
Ez az. Az Apache Kafkáról többet megtudhat a hivatalos weboldalon. Érezd jól magad!
Más rendszert használ? A Plesk egy szabadalmaztatott webtárhely-vezérlőpult, amely lehetővé teszi a felhasználók számára, hogy adminisztrálják személyes és/vagy ügyfeleik webhelyeit, adatbázisait
A Squid egy népszerű, ingyenes Linux-program, amely lehetővé teszi továbbítási webproxy létrehozását. Ebben az útmutatóban megtudhatja, hogyan telepítheti a Squid-et a CentOS rendszerre, hogy megfordítsa
Bevezetés A Lighttpd az Apache forkja, amely sokkal kevésbé erőforrás-igényes. Könnyű, innen kapta a nevét, és meglehetősen egyszerű a használata. Telepítés
A VULTR a közelmúltban változtatásokat hajtott végre a saját oldalukon, és most már mindennek jól kell működnie, ha a NetworkManager engedélyezve van. Ha szeretné letiltani
Az Icinga2 egy hatékony felügyeleti rendszer, és mester-kliens modellben használva helyettesítheti az NRPE-alapú felügyeleti ellenőrzések szükségességét. A mester-kliens
Más rendszert használ? Az Apache Cassandra egy ingyenes és nyílt forráskódú NoSQL adatbázis-kezelő rendszer, amelyet úgy terveztek, hogy biztosítsa a méretezhetőséget,
Más rendszert használ? A Microweber egy nyílt forráskódú drag and drop CMS és online bolt. A Microweber forráskódja a GitHubon található. Ez az útmutató megmutatja neked
Más rendszert használ? A Vanilla forum egy nyílt forráskódú, PHP-ben írt fórumalkalmazás. Ez egy teljesen testreszabható, könnyen használható, és támogatja a külsőt
Más rendszert használ? A Mattermost egy nyílt forráskódú, saját üzemeltetésű alternatívája a Slack SAAS üzenetküldő szolgáltatásnak. Más szóval, a Mattermost segítségével kb
Mire lesz szüksége Egy Vultr VPS legalább 1 GB RAM-mal. SSH hozzáférés (root/adminisztrátori jogosultságokkal). 1. lépés: A BungeeCord telepítése Először is
A Plesk vezérlőpult nagyon szép integrációt kínál a Lets Encrypt számára. A Lets Encrypt egyike az egyetlen SSL-szolgáltatónak, amely teljes tanúsítványt ad ki
A Lets Encrypt egy tanúsító hatóság, amely ingyenes SSL-tanúsítványokat biztosít. A cPanel ügyes integrációt épített ki, így Ön és ügyfele
Más rendszert használ? A Concrete5 egy nyílt forráskódú CMS, amely számos megkülönböztető és hasznos funkciót kínál, hogy segítse a szerkesztőket a tartalom egyszerű létrehozásában.
Más rendszert használ? A Review Board egy ingyenes és nyílt forráskódú eszköz a forráskód, a dokumentáció, a képek és még sok más áttekintésére. Ez egy web alapú szoftver
Ebből az útmutatóból megtudhatja, hogyan állíthat be HTTP-hitelesítést egy CentOS 7 rendszeren futó Nginx webszerverhez. Követelmények A kezdéshez szüksége lesz a következőre:
Más rendszert használ? A GoAccess egy nyílt forráskódú webnapló-elemző. Használhatja naplók valós idejű elemzésére akár a terminálon, akár a
A YOURLS (Your Own URL Shortener) egy nyílt forráskódú URL-rövidítő és adatelemző alkalmazás. Ebben a cikkben a telepítés folyamatával foglalkozunk
Más rendszert használ? Bevezetés Az ArangoDB egy nyílt forráskódú NoSQL adatbázis, amely rugalmas adatmodellt kínál dokumentumokhoz, grafikonokhoz és kulcsértékekhez. Ez
Bevezetés Az /etc/ könyvtár kritikus szerepet játszik a Linux rendszer működésében. Ennek az az oka, hogy szinte minden rendszerkonfiguráció
Sok rendszergazda nagy mennyiségű kiszolgálót kezel. Ha a fájlokhoz különböző szervereken keresztül kell hozzáférni, mindegyikbe külön-külön kell bejelentkezni kb
Ez az oktatóanyag végigvezeti Önt a Vultrs rendszerekkel kompatibilis Windows ISO létrehozásának folyamatán. Itt megtanulhatja az <<strong>>Windows ISO<<strong>> előállításának lépéseit az NTLite segítségével.
A mesterséges intelligencia nem a jövőben, hanem itt a jelenben. Ebben a blogban Olvassa el, hogyan hatott a mesterséges intelligencia alkalmazások különböző ágazatokra.
Ön is DDOS támadások áldozata, és tanácstalan a megelőzési módszereket illetően? Olvassa el ezt a cikket a kérdések megoldásához.
Talán hallottál már arról, hogy a hackerek sok pénzt keresnek, de elgondolkodtál már azon, hogyan kereshetnek ennyi pénzt? beszéljük meg.
Szeretné látni a Google forradalmi találmányait, és azt, hogy ezek a találmányok hogyan változtatták meg minden mai ember életét? Ezután olvassa el a blogot, és nézze meg a Google találmányait.
Az önvezető autók koncepciója, hogy mesterséges intelligencia segítségével kerüljenek az utakra, már egy ideje álmunk. De számos ígéret ellenére sehol sem látszanak. Olvassa el ezt a blogot, hogy többet megtudjon…
Ahogy a tudomány gyors ütemben fejlődik, átveszi erőfeszítéseink nagy részét, megnő annak a kockázata is, hogy alávetjük magunkat egy megmagyarázhatatlan szingularitásnak. Olvassa el, mit jelenthet számunkra a szingularitás.
Az adatok tárolási módjai az Adatok születése óta alakulhatnak. Ez a blog egy infografika alapján mutatja be az adattárolás fejlődését.
Olvassa el a blogot, hogy a legegyszerűbb módon ismerje meg a Big Data Architecture különböző rétegeit és azok funkcióit.
Ebben a digitálisan vezérelt világban az intelligens otthoni eszközök az élet döntő részévé váltak. Íme az intelligens otthoni eszközök néhány elképesztő előnye, hogyan teszik életünket érdemessé és egyszerűbbé.
