Ako nainštalovať a nakonfigurovať Elastic Stack (Elasticsearch, Logstash a Kibana) na Ubuntu 17.04

Keďže IT infraštruktúra sa presúva do cloudu a internet vecí sa stáva populárnym, organizácie a IT odborníci vo väčšej miere využívajú verejné cloudové služby. S pribúdajúcimi servermi a službami, ktoré na nich bežia, sa zvyšuje aj množstvo systémom generovaných protokolov. Analýza týchto protokolov je v infraštruktúre veľmi dôležitá z niekoľkých dôvodov. To zahŕňa súlad s bezpečnostnými politikami a nariadeniami, riešenie problémov so systémom, reakciu na incident súvisiaci s bezpečnosťou alebo pochopenie správania používateľov.

Tri veľmi populárne open source aplikácie s názvom Elasticsearch, Logstash a Kibana sa kombinujú a vytvárajú Elastic Stack alebo ELK Stack. Elastic Stack je veľmi výkonný nástroj na vyhľadávanie, analýzu a vizualizáciu protokolov a údajov. Elasticsearch je distribuovaná, v reálnom čase škálovateľná a vysoko dostupná aplikácia na ukladanie protokolov a vyhľadávanie v nich. Logstash zhromažďuje protokoly odoslané spoločnosťou Beats, vylepšuje ich a potom ich odosiela do Elasticsearch. Kibana je webové používateľské rozhranie, ktoré sa používa na vizualizáciu protokolov a praktických prehľadov.

V tomto návode nainštalujeme najnovšiu verziu Elasticsearch, Logstash a Kibana s X-Pack na Ubuntu 17.04.

Predpoklady

Ak chcete postupovať podľa tohto návodu, budete potrebovať inštanciu servera Vultr 64-bit Ubuntu 17.04 s najmenej 4 GB RAM . V produkčnom prostredí sa hardvérové ​​požiadavky zvyšujú s počtom používateľov a protokolov.

Tento tutoriál je napísaný z sudopohľadu používateľa. Ak chcete nastaviť používateľa sudo, postupujte podľa pokynov v príručke Ako používať sudo v Debiane .

Na získanie certifikátov od Let's Encrypt CA budete potrebovať aj doménu nasmerovanú na váš server.

Krok 1: Vykonajte aktualizáciu systému

Pred inštaláciou akýchkoľvek balíkov na inštanciu servera Ubuntu sa odporúča aktualizovať systém. Prihláste sa pomocou používateľa sudo a spustením nasledujúcich príkazov aktualizujte systém.

sudo apt update
sudo apt -y upgrade

Po dokončení aktualizácie systému prejdite na ďalší krok.

Krok 2: Nainštalujte Java

Elasticsearch vyžaduje Java 8, aby fungoval. Podporuje Oracle Java aj OpenJDK. Táto časť tutoriálu ukazuje inštaláciu Oracle Java a OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Inštalácia Oracle Java

Ak chcete nainštalovať Oracle Java na váš systém Ubuntu, budete musieť pridať Oracle Java PPA spustením:

sudo add-apt-repository ppa:webupd8team/java

Teraz aktualizujte informácie o úložisku spustením:

sudo apt update

Teraz môžete jednoducho nainštalovať najnovšiu stabilnú verziu Java 8 spustením:

sudo apt -y install oracle-java8-installer

Po zobrazení výzvy prijmite licenčnú zmluvu. Po dokončení inštalácie si môžete overiť verziu Java spustením:

java -version

Mali by ste vidieť výstup podobný:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Môžete tiež nastaviť JAVA_HOMEa ďalšie predvolené hodnoty inštaláciou oracle-java8-set-default. Spustiť:

sudo apt -y install oracle-java8-set-default

Teraz môžete overiť, či je JAVA_HOMEpremenná nastavená spustením:

echo "$JAVA_HOME"

Výstup by sa mal podobať:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ak nedostanete výstup zobrazený vyššie, možno sa budete musieť odhlásiť a znova prihlásiť do shellu. Oracle Java je teraz nainštalovaný na vašom serveri. Teraz môžete prejsť na krok 3 návodu na preskočenie inštalácie OpenJDK.

Inštalácia OpenJDK

Inštalácia OpenJDK je celkom jednoduchá. Jednoducho spustite nasledujúci príkaz na inštaláciu OpenJDK.

sudo apt -y install default-jdk

Po dokončení inštalácie si môžete overiť verziu Java spustením:

java -version

Mali by ste vidieť výstup podobný:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Ak chcete nastaviť JAVA_HOMEpremennú, spustite nasledujúci príkaz:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Znovu načítajte súbor prostredia spustením:

sudo source /etc/environment

Teraz môžete overiť, či je JAVA_HOMEpremenná nastavená spustením:

echo "$JAVA_HOME"

Výstup by sa mal podobať:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Krok 3: Nainštalujte Elasticsearch

Elasticsearch je super rýchly, distribuovaný, vysoko dostupný, RESTful vyhľadávací nástroj. Pridajte úložisko Elasticsearch APT spustením:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Vyššie uvedený príkaz vytvorí nový súbor úložiska pre Elasticsearch a pridá doň zdrojový záznam. Teraz importujte kľúč PGP používaný na podpisovanie balíkov.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Aktualizujte metadáta úložiska APT spustením:

sudo apt update

Nainštalujte Elasticsearch spustením nasledujúceho príkazu.

sudo apt -y install elasticsearch

Vyššie uvedený príkaz nainštaluje do vášho systému najnovšiu verziu Elasticsearch. Po nainštalovaní Elasticsearch znovu načítajte servisného démona Systemd spustením:

sudo systemctl daemon-reload

Spustite Elasticsearch a povoľte jej automatické spustenie pri štarte.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Ak chcete zastaviť Elasticsearch, môžete spustiť:

sudo systemctl stop elasticsearch

Ak chcete skontrolovať stav služby, môžete spustiť:

sudo systemctl status elasticsearch

Elasticsearch teraz beží na porte 9200. Či funguje a prináša výsledky, môžete overiť spustením nasledujúceho príkazu.

curl -XGET 'localhost:9200/?pretty'

Vytlačí sa správa podobná nasledujúcej.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Nainštalujte X-Pack pre Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Platnosť certifikátov Let's Encrypt vyprší o 90 dní, preto sa odporúča nastaviť automatické obnovovanie certifikátov pomocou cronjobov. Cron je systémová služba, ktorá sa používa na spúšťanie pravidelných úloh.

Otvorte súbor úlohy cron spustením:

sudo crontab -e

Na koniec súboru pridajte nasledujúci riadok.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Vyššie uvedená úloha cron sa spustí každý pondelok o 5:30. Ak má certifikát vypršať, automaticky ho obnoví.

Upravte predvolený súbor virtuálneho hostiteľa pre Nginx spustením nasledujúceho príkazu.

sudo nano /etc/nginx/sites-available/default

Nahraďte existujúci obsah nasledujúcim obsahom.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Uistite sa, že aktualizujete kibana.example.comsvoj skutočný názov domény, tiež overte cestu k certifikátu SSL a súkromnému kľúču.

Reštartujte webový server Nginx spustením:

sudo systemctl restart nginx

Ak bolo všetko správne nakonfigurované, uvidíte prihlasovaciu obrazovku Kibana. Prihláste sa pomocou používateľského mena kibanaa hesla, ktoré ste si nastavili. Mali by ste sa úspešne prihlásiť a zobraziť informačný panel Kibana. Opustite dashboard, zatiaľ ho nakonfigurujeme neskôr.

Nainštalujte Logstash

Logstash je možné nainštalovať aj prostredníctvom oficiálneho úložiska Elasticsearch, ktoré sme pridali skôr. Nainštalujte Logstash spustením:

sudo apt -y install logstash

Vyššie uvedený príkaz nainštaluje najnovšiu verziu Logstash do vášho systému. Po nainštalovaní Logstash znova načítajte servisného démona Systemd spustením:

sudo systemctl daemon-reload

Spustite Logstash a povoľte jej automatické spustenie pri štarte.

sudo systemctl enable logstash
sudo systemctl start logstash

Nainštalujte X-Pack pre Logstash

X-Pack pre Logstash môžete nainštalovať priamo spustením:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack pre Logstash sa dodáva s predvoleným používateľom logstash_system. Heslo môžete obnoviť spustením:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Nahraďte 192.168.0.1skutočnou privátnou IP adresou servera a NewLogstashPasswordnovým heslom pre užívateľa Logstash.

Teraz reštartujte službu Logstash spustením:

sudo systemctl restart logstash

Upravte konfiguračný súbor Logstash spustením:

sudo nano /etc/logstash/logstash.yml

Pridajte nasledujúce riadky na koniec súboru, aby ste umožnili monitorovanie inštancie Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Nahraďte adresu URL Elasticsearch a heslo Logstash podľa svojho nastavenia.

Teraz môžete nakonfigurovať Logstash na prijímanie údajov pomocou rôznych Beats. K dispozícii je niekoľko typov beatov: Packetbeat, Metricbeat, Filebeat, Winlogbeat a Heartbeat. Každý Beat budete musieť nainštalovať samostatne.

Záver

V tomto návode sme nainštalovali Elastic Stack s X-Pack na Ubuntu 17.04. Teraz je na vašom serveri nainštalovaný základný zásobník ELK.