Πώς να εγκαταστήσετε και να ρυθμίσετε το Elastic Stack (Elasticsearch, Logstash και Kibana) στο Ubuntu 17.04

Καθώς η υποδομή πληροφορικής μετακινείται προς το cloud και το Internet of Things γίνεται δημοφιλές, οι οργανισμοί και οι επαγγελματίες πληροφορικής χρησιμοποιούν δημόσιες υπηρεσίες cloud σε μεγαλύτερο βαθμό. Καθώς οι διακομιστές και οι υπηρεσίες που εκτελούνται σε αυτούς αυξάνονται, ο αριθμός των αρχείων καταγραφής που δημιουργείται από το σύστημα αυξάνεται επίσης. Η ανάλυση αυτών των αρχείων καταγραφής είναι πολύ σημαντική σε μια υποδομή για διάφορους λόγους. Αυτό περιλαμβάνει τη συμμόρφωση με τις πολιτικές και τους κανονισμούς ασφαλείας, την αντιμετώπιση προβλημάτων συστήματος, την απόκριση σε περιστατικό που σχετίζεται με την ασφάλεια ή την κατανόηση της συμπεριφοράς των χρηστών.

Τρεις πολύ δημοφιλείς εφαρμογές ανοιχτού κώδικα που ονομάζονται Elasticsearch, Logstash και Kibana συνδυάζονται για να δημιουργήσουν το Elastic Stack ή το ELK Stack. Το Elastic Stack είναι ένα πολύ ισχυρό εργαλείο για αναζήτηση, ανάλυση και οπτικοποίηση αρχείων καταγραφής και δεδομένων. Το Elasticsearch είναι μια κατανεμημένη, σε πραγματικό χρόνο, επεκτάσιμη και εξαιρετικά διαθέσιμη εφαρμογή για την αποθήκευση αρχείων καταγραφής και την αναζήτηση μέσω αυτών. Το Logstash συγκεντρώνει τα αρχεία καταγραφής που αποστέλλονται από το Beats, τα βελτιώνει και στη συνέχεια τα στέλνει στο Elasticsearch. Το Kibana είναι η διεπαφή ιστού που χρησιμοποιείται για την οπτικοποίηση των αρχείων καταγραφής και των πρακτικών πληροφοριών.

Σε αυτό το σεμινάριο, θα εγκαταστήσουμε την πιο πρόσφατη έκδοση των Elasticsearch, Logstash και Kibana με το X-Pack στο Ubuntu 17.04.

Προαπαιτούμενα

Για να ακολουθήσετε αυτό το σεμινάριο, θα χρειαστείτε μια παρουσία διακομιστή Vultr 64-bit Ubuntu 17.04 με τουλάχιστον 4 GB RAM . Για ένα περιβάλλον παραγωγής, οι απαιτήσεις υλικού αυξάνονται με τον αριθμό χρηστών και αρχείων καταγραφής.

Αυτό το σεμινάριο είναι γραμμένο από την sudoοπτική γωνία του χρήστη. Για να ρυθμίσετε έναν χρήστη sudo, ακολουθήστε τον οδηγό Πώς να χρησιμοποιήσετε το Sudo στο Debian .

Θα χρειαστείτε επίσης έναν τομέα στραμμένο προς τον διακομιστή σας για να αποκτήσετε πιστοποιητικά από την Let's Encrypt CA.

Βήμα 1: Εκτελέστε μια ενημέρωση συστήματος

Πριν εγκαταστήσετε οποιοδήποτε πακέτο στην παρουσία του διακομιστή Ubuntu, συνιστάται να ενημερώσετε το σύστημα. Συνδεθείτε χρησιμοποιώντας τον χρήστη sudo και εκτελέστε τις ακόλουθες εντολές για να ενημερώσετε το σύστημα.

sudo apt update
sudo apt -y upgrade

Μόλις ολοκληρωθεί η αναβάθμιση του συστήματος, προχωρήστε στο επόμενο βήμα.

Βήμα 2: Εγκατάσταση Java

Το Elasticsearch απαιτεί Java 8 για να λειτουργήσει. Υποστηρίζει τόσο Oracle Java όσο και OpenJDK. Αυτή η ενότητα του σεμιναρίου παρουσιάζει την εγκατάσταση τόσο της Oracle Java όσο και της OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Εγκατάσταση της Oracle Java

Για να εγκαταστήσετε την Oracle Java στο σύστημά σας Ubuntu, θα χρειαστεί να προσθέσετε το Oracle Java PPA εκτελώντας:

sudo add-apt-repository ppa:webupd8team/java

Τώρα ενημερώστε τις πληροφορίες του αποθετηρίου εκτελώντας:

sudo apt update

Τώρα μπορείτε εύκολα να εγκαταστήσετε την πιο πρόσφατη σταθερή έκδοση της Java 8 εκτελώντας:

sudo apt -y install oracle-java8-installer

Αποδεχτείτε τη συμφωνία άδειας χρήσης όταν σας ζητηθεί. Μόλις ολοκληρωθεί η εγκατάσταση, μπορείτε να επαληθεύσετε την έκδοση Java εκτελώντας:

java -version

Θα πρέπει να δείτε έξοδο παρόμοια με:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Μπορείτε επίσης να ορίσετε τις JAVA_HOMEπροεπιλογές και άλλες προεπιλογές εγκαθιστώντας το oracle-java8-set-default. Τρέξιμο:

sudo apt -y install oracle-java8-set-default

Τώρα μπορείτε να επαληθεύσετε εάν η JAVA_HOMEμεταβλητή έχει οριστεί εκτελώντας:

echo "$JAVA_HOME"

Η έξοδος πρέπει να μοιάζει με:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Εάν δεν λάβετε την έξοδο που φαίνεται παραπάνω, ίσως χρειαστεί να αποσυνδεθείτε και να συνδεθείτε ξανά στο κέλυφος. Η Oracle Java είναι πλέον εγκατεστημένη στον διακομιστή σας. Τώρα μπορείτε να προχωρήσετε στο Βήμα 3 του εκπαιδευτικού προγράμματος παραλείποντας την εγκατάσταση του OpenJDK.

Εγκατάσταση του OpenJDK

Η εγκατάσταση του OpenJDK είναι αρκετά απλή. Απλώς εκτελέστε την ακόλουθη εντολή για να εγκαταστήσετε το OpenJDK.

sudo apt -y install default-jdk

Μόλις ολοκληρωθεί η εγκατάσταση, μπορείτε να επαληθεύσετε την έκδοση Java εκτελώντας:

java -version

Θα πρέπει να δείτε έξοδο παρόμοια με:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Για να ορίσετε τη JAVA_HOMEμεταβλητή, εκτελέστε την ακόλουθη εντολή:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Φορτώστε ξανά το αρχείο περιβάλλοντος εκτελώντας:

sudo source /etc/environment

Τώρα μπορείτε να επαληθεύσετε εάν η JAVA_HOMEμεταβλητή έχει οριστεί εκτελώντας:

echo "$JAVA_HOME"

Η έξοδος πρέπει να μοιάζει με:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Βήμα 3: Εγκαταστήστε το Elasticsearch

Το Elasticsearch είναι μια εξαιρετικά γρήγορη, κατανεμημένη, εξαιρετικά διαθέσιμη, ξεκούραστη μηχανή αναζήτησης. Προσθέστε το αποθετήριο Elasticsearch APT εκτελώντας:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Η παραπάνω εντολή δημιουργεί ένα νέο αρχείο αποθήκης για το Elasticsearch και προσθέτει την καταχώρηση πηγής σε αυτό. Τώρα εισάγετε το κλειδί PGP που χρησιμοποιείται για την υπογραφή των πακέτων.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Ενημερώστε τα μεταδεδομένα του αποθετηρίου APT εκτελώντας:

sudo apt update

Εγκαταστήστε το Elasticsearch εκτελώντας την ακόλουθη εντολή.

sudo apt -y install elasticsearch

Η παραπάνω εντολή θα εγκαταστήσει την πιο πρόσφατη έκδοση του Elasticsearch στο σύστημά σας. Μόλις εγκατασταθεί το Elasticsearch, φορτώστε ξανά τον δαίμονα υπηρεσίας Systemd εκτελώντας:

sudo systemctl daemon-reload

Ξεκινήστε το Elasticsearch και ενεργοποιήστε το να ξεκινά αυτόματα κατά την εκκίνηση.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Για να σταματήσετε το Elasticsearch, μπορείτε να εκτελέσετε:

sudo systemctl stop elasticsearch

Για να ελέγξετε την κατάσταση της υπηρεσίας μπορείτε να εκτελέσετε:

sudo systemctl status elasticsearch

Το Elasticsearch εκτελείται τώρα στη θύρα 9200. Μπορείτε να επαληθεύσετε εάν λειτουργεί και παράγει αποτελέσματα εκτελώντας την ακόλουθη εντολή.

curl -XGET 'localhost:9200/?pretty'

Θα εκτυπωθεί ένα μήνυμα παρόμοιο με το παρακάτω.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Εγκαταστήστε το X-Pack για το Elasticsearch

Το X-Pack είναι ένα πρόσθετο Elastic Stack που παρέχει πολλά πρόσθετα χαρακτηριστικά όπως η ασφάλεια, η ειδοποίηση, η παρακολούθηση, η αναφορά και οι δυνατότητες γραφημάτων. Το X-Pack παρέχει επίσης έλεγχο ταυτότητας χρήστη για το Elasticsearch και το Kibana, καθώς και παρακολούθηση διαφορετικών κόμβων στο Kibana. Είναι σημαντικό το X-Pack και το Elasticsearch να είναι εγκατεστημένα με την ίδια έκδοση.

Μπορείτε να εγκαταστήσετε το X-Pack για Elasticsearch απευθείας εκτελώντας:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Για να συνεχίσετε την εγκατάσταση, πληκτρολογήστε yόταν σας ζητηθεί. Αυτή η εντολή θα εγκαταστήσει το πρόσθετο X-Pack στο σύστημά σας. Όταν εγκατασταθεί, το X-Pack ενεργοποιεί τον έλεγχο ταυτότητας για το Elasticsearch. Το προεπιλεγμένο όνομα χρήστη είναι elasticκαι ο κωδικός πρόσβασης είναι changeme. Μπορείτε να ελέγξετε εάν ο έλεγχος ταυτότητας είναι ενεργοποιημένος εκτελώντας την ίδια εντολή που εκτελέσατε για να ελέγξετε εάν το Elasticsearch λειτουργεί.

curl -XGET 'localhost:9200/?pretty'

Τώρα η έξοδος θα λέει ότι ο έλεγχος ταυτότητας απέτυχε.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Τα πιστοποιητικά Let's Encrypt πρόκειται να λήξουν σε 90 ημέρες, επομένως συνιστάται να ρυθμίσετε την αυτόματη ανανέωση για τα πιστοποιητικά χρησιμοποιώντας cronjobs. Το Cron είναι μια υπηρεσία συστήματος που χρησιμοποιείται για την εκτέλεση περιοδικών εργασιών.

Ανοίξτε το αρχείο εργασίας cron εκτελώντας:

sudo crontab -e

Προσθέστε την ακόλουθη γραμμή στο τέλος του αρχείου.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Η παραπάνω εργασία cron θα λειτουργεί κάθε Δευτέρα στις 5:30 π.μ. Εάν το πιστοποιητικό πρόκειται να λήξει, θα το ανανεώσει αυτόματα.

Επεξεργαστείτε το προεπιλεγμένο αρχείο εικονικού κεντρικού υπολογιστή για το Nginx εκτελώντας την ακόλουθη εντολή.

sudo nano /etc/nginx/sites-available/default

Αντικαταστήστε το υπάρχον περιεχόμενο με το ακόλουθο περιεχόμενο.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Βεβαιωθείτε ότι έχετε ενημερώσει kibana.example.comμε το πραγματικό σας όνομα τομέα, επαληθεύστε επίσης τη διαδρομή προς το πιστοποιητικό SSL και το ιδιωτικό κλειδί.

Επανεκκινήστε τον διακομιστή ιστού Nginx εκτελώντας:

sudo systemctl restart nginx

Εάν όλα έχουν ρυθμιστεί σωστά, θα δείτε την οθόνη σύνδεσης Kibana. Συνδεθείτε χρησιμοποιώντας το όνομα χρήστη kibanaκαι τον κωδικό πρόσβασης που έχετε ορίσει. Θα πρέπει να μπορείτε να συνδεθείτε με επιτυχία και να δείτε τον πίνακα ελέγχου Kibana. Αφήστε το ταμπλό, προς το παρόν, θα το διαμορφώσουμε αργότερα.

Εγκαταστήστε το Logstash

Το Logstash μπορεί επίσης να εγκατασταθεί μέσω του επίσημου αποθετηρίου Elasticsearch που προσθέσαμε νωρίτερα. Εγκαταστήστε το Logstash εκτελώντας:

sudo apt -y install logstash

Η παραπάνω εντολή θα εγκαταστήσει την πιο πρόσφατη έκδοση του Logstash στο σύστημά σας. Μόλις εγκατασταθεί το Logstash, φορτώστε ξανά τον δαίμονα υπηρεσίας Systemd εκτελώντας:

sudo systemctl daemon-reload

Εκκινήστε το Logstash και ενεργοποιήστε το να ξεκινά αυτόματα κατά την εκκίνηση.

sudo systemctl enable logstash
sudo systemctl start logstash

Εγκαταστήστε το X-Pack για Logstash

Μπορείτε να εγκαταστήσετε το X-Pack για Logstash απευθείας εκτελώντας:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

Το X-Pack for Logstash συνοδεύεται από προεπιλεγμένο χρήστη logstash_system. Μπορείτε να επαναφέρετε τον κωδικό πρόσβασης εκτελώντας:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Αντικαταστήστε 192.168.0.1με την πραγματική ιδιωτική διεύθυνση IP του διακομιστή και NewLogstashPasswordμε τον νέο κωδικό πρόσβασης για το χρήστη Logstash.

Τώρα επανεκκινήστε την υπηρεσία Logstash εκτελώντας:

sudo systemctl restart logstash

Επεξεργαστείτε το αρχείο διαμόρφωσης Logstash εκτελώντας:

sudo nano /etc/logstash/logstash.yml

Προσθέστε τις ακόλουθες γραμμές στο τέλος του αρχείου για να ενεργοποιήσετε την παρακολούθηση της παρουσίας Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Αντικαταστήστε τη διεύθυνση URL του Elasticsearch και τον κωδικό πρόσβασης Logstash σύμφωνα με τις ρυθμίσεις σας.

Τώρα μπορείτε να διαμορφώσετε το Logstash ώστε να λαμβάνει δεδομένα χρησιμοποιώντας διαφορετικά Beats. Υπάρχουν διάφοροι τύποι Beats διαθέσιμοι: Packetbeat, Metricbeat, Filebeat, Winlogbeat και Heartbeat. Θα χρειαστεί να εγκαταστήσετε κάθε Beat ξεχωριστά.

συμπέρασμα

Σε αυτό το σεμινάριο, έχουμε εγκαταστήσει το Elastic Stack with X-Pack στο Ubuntu 17.04. Μια βασική στοίβα ELK είναι πλέον εγκατεστημένη στον διακομιστή σας.