Το Apache Kafka είναι ένα επεκτάσιμο και υψηλής απόδοσης σύστημα ανταλλαγής μηνυμάτων που είναι σε θέση να χειρίζεται αποτελεσματικά τεράστιο όγκο δεδομένων.
Μπορείτε είτε να αναπτύξετε το Kafka σε έναν διακομιστή είτε να δημιουργήσετε ένα κατανεμημένο σύμπλεγμα Kafka για μεγαλύτερη απόδοση. Ως αρχή, αυτό το άρθρο εξηγεί πώς να εγκαταστήσετε το Apache Kafka σε μία μόνο παρουσία διακομιστή Vultr CentOS 7.
Πριν προχωρήσετε, θα πρέπει:
Χρησιμοποιήστε την παρακάτω εντολή για να ενημερώσετε το σύστημά σας στην πιο πρόσφατη σταθερή κατάσταση:
sudo yum update -y && sudo reboot
Αφού ολοκληρωθεί η επανεκκίνηση, χρησιμοποιήστε τον ίδιο χρήστη sudo για να συνδεθείτε ξανά.
Πρέπει να ρυθμίσετε μια εικονική μηχανή Java στο σύστημά σας για να μπορέσετε να εκτελέσετε σωστά το Apache Kafka. Εδώ, μπορείτε να εγκαταστήσετε το OpenJDK Runtime Environment 1.8.0 χρησιμοποιώντας το YUM:
sudo yum install java-1.8.0-openjdk.x86_64
Επικυρώστε την εγκατάστασή σας με:
java -version
Η έξοδος πρέπει να μοιάζει με:
openjdk version "1.8.0_91"
OpenJDK Runtime Environment (build 1.8.0_91-b14)
OpenJDK 64-Bit Server VM (build 25.91-b14, mixed mode)
Πρέπει επίσης να ρυθμίσετε τις μεταβλητές περιβάλλοντος "JAVA_HOME" και "JRE_HOME":
sudo vi /etc/profile
Προσθέστε τις ακόλουθες γραμμές στο αρχικό περιεχόμενο του αρχείου:
export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk
export JRE_HOME=/usr/lib/jvm/jre
Αποθήκευση και έξοδος:
:wq
Επαναλάβετε τη φόρτωση του προφίλ για να τεθούν σε ισχύ οι αλλαγές σας:
source /etc/profile
Κατεβάστε την πιο πρόσφατη σταθερή έκδοση του Apache Kafka από τον επίσημο ιστότοπο. Τη στιγμή της γραφής, είναι 0.9.0.1.
cd ~
wget http://www-us.apache.org/dist/kafka/0.9.0.1/kafka_2.11-0.9.0.1.tgz
Αποσυμπιέστε το αρχείο σε μια προτιμώμενη τοποθεσία, όπως /opt:
tar -xvf kafka_2.11-0.9.0.1.tgz
sudo mv kafka_2.11-0.9.0.1 /opt
Σε αυτό το σημείο, το Apache Kafka είναι διαθέσιμο στο σύστημά σας. Ας το κάνουμε ένα test drive.
cd /opt/kafka_2.11-0.9.0.1
bin/zookeeper-server-start.sh -daemon config/zookeeper.properties
vi bin/kafka-server-start.sh
Προσαρμόστε τη χρήση της μνήμης σύμφωνα με τις συγκεκριμένες παραμέτρους του συστήματός σας. Για παράδειγμα, εάν χρησιμοποιείτε μια παρουσία διακομιστή Vultr με μνήμη 768 MB στο περιβάλλον δοκιμής, πρέπει να εντοπίσετε την ακόλουθη γραμμή:
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
Αντικαταστήστε το με:
export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"
Αποθήκευση διακοπής:
:wq
bin/kafka-server-start.sh config/server.properties
Εάν όλα πήγαν επιτυχώς, θα δείτε πολλά μηνύματα σχετικά με την κατάσταση του διακομιστή Kafka και το τελευταίο θα διαβάσει:
INFO [Kafka Server 0], started (kafka.server.KafkaServer)
Αυτό σημαίνει ότι έχετε ξεκινήσει τον διακομιστή Kafka.
Ανοίξτε μια νέα σύνδεση SSH, χρησιμοποιήστε τις ακόλουθες εντολές για να δημιουργήσετε ένα θέμα "δοκιμή":
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
Μπορείτε να δείτε τα θέματά σας με την ακόλουθη εντολή:
bin/kafka-topics.sh --list --zookeeper localhost:2181
Στην περίπτωσή μας, η έξοδος θα είναι:
test
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
Χρησιμοποιώντας την παραπάνω εντολή, μπορείτε να εισάγετε οποιονδήποτε αριθμό μηνυμάτων θέλετε, όπως:
Welcome aboard!
Bonjour!
Εάν λάβετε ένα παρόμοιο σφάλμα "WARN Error while fetching metadata with correlation id"κατά την εισαγωγή ενός μηνύματος, θα χρειαστεί να ενημερώσετε το server.propertiesαρχείο με τις ακόλουθες πληροφορίες:
port = 9092
advertised.host.name = localhost
Ανοίξτε μια τρίτη σύνδεση SSH και, στη συνέχεια, εκτελέστε τις ακόλουθες εντολές:
cd /opt/kafka_2.11-0.9.0.1
bin/kafka-console-consumer.sh --zookeeper localhost:9092 --topic test --from-beginning
Τα-ντα! Τα μηνύματα που δημιουργήσατε νωρίτερα θα εμφανιστούν στην τρίτη σύνδεση SSH. Φυσικά, εάν εισαγάγετε περισσότερα μηνύματα από τη δεύτερη σύνδεση SSH τώρα, θα τα δείτε αμέσως στην τρίτη σύνδεση SSH.
Τέλος, μπορείτε να πατήσετε Ctrl+C σε κάθε σύνδεση SSH για να σταματήσετε αυτά τα σενάρια.
Αυτό είναι. Μπορείτε να μάθετε περισσότερα για τον Apache Kafka στον επίσημο ιστότοπο. Καλα να περνας!
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Plesk είναι ένας ιδιόκτητος πίνακας ελέγχου web host που επιτρέπει στους χρήστες να διαχειρίζονται τους προσωπικούς ή/και τους πελάτες τους ιστότοπους, βάσεις δεδομένων
Το Squid είναι ένα δημοφιλές, δωρεάν πρόγραμμα Linux που σας επιτρέπει να δημιουργήσετε έναν διακομιστή μεσολάβησης web προώθησης. Σε αυτόν τον οδηγό, θα δείτε πώς να εγκαταστήσετε το Squid στο CentOS για να σας μετατρέψει
Εισαγωγή Το Lighttpd είναι ένα πιρούνι του Apache που έχει ως στόχο να είναι πολύ λιγότερο εντάσεως πόρων. Είναι ελαφρύ, εξ ου και το όνομά του, και είναι αρκετά απλό στη χρήση. Εγκατάσταση
Το Icinga2 είναι ένα ισχυρό σύστημα παρακολούθησης και όταν χρησιμοποιείται σε μοντέλο master-client, μπορεί να αντικαταστήσει την ανάγκη για ελέγχους παρακολούθησης που βασίζονται σε NRPE. Ο κύριος-πελάτης
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Apache Cassandra είναι ένα δωρεάν και ανοιχτού κώδικα σύστημα διαχείρισης βάσεων δεδομένων NoSQL που έχει σχεδιαστεί για να παρέχει επεκτασιμότητα, υψηλή
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Microweber είναι ένα ανοικτού κώδικα μεταφοράς και απόθεσης CMS και ηλεκτρονικό κατάστημα. Ο πηγαίος κώδικας Microweber φιλοξενείται στο GitHub. Αυτός ο οδηγός θα σας δείξει
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Vanilla forum είναι μια εφαρμογή φόρουμ ανοιχτού κώδικα γραμμένη σε PHP. Είναι πλήρως προσαρμόσιμο, εύκολο στη χρήση και υποστηρίζει εξωτερικά
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Mattermost είναι μια εναλλακτική λύση ανοιχτού κώδικα, που φιλοξενείται από τον εαυτό της στην υπηρεσία ανταλλαγής μηνυμάτων Slack SAAS. Με άλλα λόγια, με το Mattermost, μπορείτε περίπου
Ο πίνακας ελέγχου Plesk διαθέτει μια πολύ ωραία ενσωμάτωση για το Lets Encrypt. Το Lets Encrypt είναι ένας από τους μόνους παρόχους SSL που εκδίδει πιστοποιητικά πλήρως
Το Lets Encrypt είναι μια αρχή έκδοσης πιστοποιητικών αφιερωμένη στην παροχή πιστοποιητικών SSL δωρεάν. Το cPanel έχει δημιουργήσει μια τακτοποιημένη ενοποίηση για εσάς και τον πελάτη σας
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Concrete5 είναι ένα CMS ανοιχτού κώδικα που προσφέρει πολλές χαρακτηριστικές και χρήσιμες λειτουργίες για να βοηθήσει τους συντάκτες να παράγουν περιεχόμενο εύκολα και
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Το Review Board είναι ένα δωρεάν και ανοιχτού κώδικα εργαλείο για την ανασκόπηση του πηγαίου κώδικα, της τεκμηρίωσης, των εικόνων και πολλών άλλων. Είναι λογισμικό που βασίζεται στο web
Σε αυτόν τον οδηγό, θα μάθετε πώς να ρυθμίζετε τον έλεγχο ταυτότητας HTTP για έναν διακομιστή web Nginx που εκτελείται σε CentOS 7. Απαιτήσεις Για να ξεκινήσετε, θα χρειαστείτε
Το YOURLS (Your Own URL Shortener) είναι μια εφαρμογή συντόμευσης διευθύνσεων URL και ανάλυσης δεδομένων ανοιχτού κώδικα. Σε αυτό το άρθρο, θα καλύψουμε τη διαδικασία εγκατάστασης
Χρησιμοποιώντας ένα διαφορετικό σύστημα; Εισαγωγή Το ArangoDB είναι μια βάση δεδομένων NoSQL ανοιχτού κώδικα με ένα ευέλικτο μοντέλο δεδομένων για έγγραφα, γραφήματα και κλειδιά-τιμές. είναι
Εισαγωγή Ο κατάλογος /etc/ παίζει κρίσιμο ρόλο στον τρόπο λειτουργίας ενός συστήματος Linux. Ο λόγος για αυτό είναι επειδή σχεδόν κάθε διαμόρφωση συστήματος
Πολλοί διαχειριστές συστημάτων διαχειρίζονται μεγάλες ποσότητες διακομιστών. Όταν χρειάζεται πρόσβαση στα αρχεία σε διαφορετικούς διακομιστές, συνδέεστε σε καθένα ξεχωριστά περίπου
Αυτό το σεμινάριο θα καλύψει τη διαδικασία εγκατάστασης ενός διακομιστή παιχνιδιών Half Life 2 στο σύστημα CentOS 6. Βήμα 1: Εγκατάσταση των προαπαιτούμενων Για να ρυθμίσετε το ou
Το Laravel GitScrum ή GitScrum είναι ένα εργαλείο παραγωγικότητας ανοιχτού κώδικα που έχει σχεδιαστεί για να βοηθά τις ομάδες ανάπτυξης να εφαρμόσουν τη μεθοδολογία Scrum με παρόμοιο τρόπο
Εισαγωγή Σε αυτό το σεμινάριο Vultr, θα μάθετε πώς να εγκαταστήσετε το PowerDNS. Το PowerDNS είναι ένα πρόγραμμα για την εκτέλεση των δικών σας διακομιστών ονομάτων. Είναι πολύ χρήσιμο όταν
Η Τεχνητή Νοημοσύνη δεν είναι στο μέλλον, είναι εδώ ακριβώς στο παρόν Σε αυτό το blog Διαβάστε πώς οι εφαρμογές Τεχνητής Νοημοσύνης έχουν επηρεάσει διάφορους τομείς.
Είστε επίσης θύμα των επιθέσεων DDOS και έχετε μπερδευτεί σχετικά με τις μεθόδους πρόληψης; Διαβάστε αυτό το άρθρο για να λύσετε τις απορίες σας.
Μπορεί να έχετε ακούσει ότι οι χάκερ κερδίζουν πολλά χρήματα, αλλά έχετε αναρωτηθεί ποτέ πώς κερδίζουν τέτοια χρήματα; ας συζητήσουμε.
Θέλετε να δείτε επαναστατικές εφευρέσεις της Google και πώς αυτές οι εφευρέσεις άλλαξαν τη ζωή κάθε ανθρώπου σήμερα; Στη συνέχεια, διαβάστε στο blog για να δείτε τις εφευρέσεις της Google.
Η ιδέα των αυτοκινούμενων αυτοκινήτων να βγαίνουν στους δρόμους με τη βοήθεια της τεχνητής νοημοσύνης είναι ένα όνειρο που έχουμε εδώ και καιρό. Όμως, παρά τις πολλές υποσχέσεις, δεν φαίνονται πουθενά. Διαβάστε αυτό το blog για να μάθετε περισσότερα…
Καθώς η Επιστήμη εξελίσσεται με γρήγορους ρυθμούς, αναλαμβάνοντας πολλές από τις προσπάθειές μας, αυξάνονται και οι κίνδυνοι να υποβάλλουμε τον εαυτό μας σε μια ανεξήγητη Ιδιότητα. Διαβάστε τι σημαίνει η μοναδικότητα για εμάς.
Οι μέθοδοι αποθήκευσης των δεδομένων εξελίσσονται μπορεί να είναι από τη γέννηση των Δεδομένων. Αυτό το ιστολόγιο καλύπτει την εξέλιξη της αποθήκευσης δεδομένων με βάση ένα infographic.
Διαβάστε το ιστολόγιο για να μάθετε διαφορετικά επίπεδα στην Αρχιτεκτονική Μεγάλων Δεδομένων και τις λειτουργίες τους με τον απλούστερο τρόπο.
Σε αυτόν τον ψηφιακό κόσμο, οι έξυπνες οικιακές συσκευές έχουν γίνει κρίσιμο μέρος της ζωής. Ακολουθούν μερικά εκπληκτικά οφέλη των έξυπνων οικιακών συσκευών σχετικά με το πώς κάνουν τη ζωή μας να αξίζει και να απλοποιείται.
Πρόσφατα, η Apple κυκλοφόρησε το macOS Catalina 10.15.4 μια συμπληρωματική ενημέρωση για την επιδιόρθωση προβλημάτων, αλλά φαίνεται ότι η ενημέρωση προκαλεί περισσότερα προβλήματα που οδηγούν σε bricking των μηχανών mac. Διαβάστε αυτό το άρθρο για να μάθετε περισσότερα
