Jak nainstalovat a nakonfigurovat Elastic Stack (Elasticsearch, Logstash a Kibana) na Ubuntu 17.04

Předpoklady

Krok 1: Proveďte aktualizaci systému

Krok 2: Nainstalujte Javu

Krok 3: Nainstalujte Elasticsearch

Krok 4: Nainstalujte Kibana

Nainstalujte Logstash

Závěr

S tím, jak se IT infrastruktura přesouvá do cloudu a internet věcí se stává populární, organizace a IT profesionálové ve větší míře využívají veřejné cloudové služby. Se zvyšujícím se počtem serverů a služeb na nich běžících se zvyšuje také množství systémových protokolů. Analýza těchto protokolů je v infrastruktuře velmi důležitá z několika důvodů. To zahrnuje dodržování bezpečnostních zásad a předpisů, řešení problémů se systémem, reakce na bezpečnostní incidenty nebo pochopení chování uživatelů.

Tři velmi oblíbené open source aplikace s názvem Elasticsearch, Logstash a Kibana se spojí a vytvoří Elastic Stack nebo ELK Stack. Elastic Stack je velmi výkonný nástroj pro vyhledávání, analýzu a vizualizaci protokolů a dat. Elasticsearch je distribuovaná, v reálném čase, škálovatelná a vysoce dostupná aplikace pro ukládání protokolů a prohledávání v nich. Logstash shromažďuje protokoly odeslané Beats, vylepšuje je a poté je odesílá do Elasticsearch. Kibana je webové uživatelské rozhraní používané k vizualizaci protokolů a užitečných přehledů.

V tomto tutoriálu nainstalujeme nejnovější verzi Elasticsearch, Logstash a Kibana s X-Pack na Ubuntu 17.04.

Předpoklady

Abyste mohli postupovat podle tohoto návodu, budete potřebovat instanci serveru Vultr 64-bit Ubuntu 17.04 s alespoň 4 GB RAM . U produkčního prostředí se hardwarové požadavky zvyšují s počtem uživatelů a protokolů.

Tento tutoriál je napsán z sudopohledu uživatele. Chcete-li nastavit uživatele sudo, postupujte podle průvodce Jak používat Sudo v Debianu .

K získání certifikátů od Let's Encrypt CA budete také potřebovat doménu nasměrovanou na váš server.

Krok 1: Proveďte aktualizaci systému

Před instalací jakýchkoli balíčků na instanci serveru Ubuntu se doporučuje aktualizovat systém. Přihlaste se pomocí uživatele sudo a spusťte následující příkazy pro aktualizaci systému.

sudo apt update
sudo apt -y upgrade

Po dokončení aktualizace systému přejděte k dalšímu kroku.

Krok 2: Nainstalujte Javu

Elasticsearch vyžaduje Java 8, aby fungoval. Podporuje jak Oracle Java, tak OpenJDK. Tato část tutoriálu ukazuje instalaci Oracle Java a OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Instalace Oracle Java

Chcete-li nainstalovat Oracle Java na váš systém Ubuntu, budete muset přidat Oracle Java PPA spuštěním:

sudo add-apt-repository ppa:webupd8team/java

Nyní aktualizujte informace o úložišti spuštěním:

sudo apt update

Nyní můžete snadno nainstalovat nejnovější stabilní verzi Java 8 spuštěním:

sudo apt -y install oracle-java8-installer

Po zobrazení výzvy přijměte licenční smlouvu. Po dokončení instalace můžete ověřit verzi Java spuštěním:

java -version

Měli byste vidět výstup podobný:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Můžete také nastavit JAVA_HOMEvýchozí a další výchozí hodnoty instalací oracle-java8-set-default. Běh:

sudo apt -y install oracle-java8-set-default

Nyní můžete ověřit, zda je JAVA_HOMEproměnná nastavena spuštěním:

echo "$JAVA_HOME"

Výstup by měl vypadat takto:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Pokud nezískáte výše uvedený výstup, možná se budete muset odhlásit a znovu přihlásit do shellu. Oracle Java je nyní nainstalována na vašem serveru. Nyní můžete přejít ke kroku 3 výukového programu přeskočení instalace OpenJDK.

Instalace OpenJDK

Instalace OpenJDK je docela přímočará. Jednoduše spusťte následující příkaz a nainstalujte OpenJDK.

sudo apt -y install default-jdk

Po dokončení instalace můžete ověřit verzi Java spuštěním:

java -version

Měli byste vidět výstup podobný:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Chcete-li nastavit JAVA_HOMEproměnnou, spusťte následující příkaz:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Znovu načtěte soubor prostředí spuštěním:

sudo source /etc/environment

Nyní můžete ověřit, zda je JAVA_HOMEproměnná nastavena spuštěním:

echo "$JAVA_HOME"

Výstup by měl vypadat takto:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Krok 3: Nainstalujte Elasticsearch

Elasticsearch je super-rychlý, distribuovaný, vysoce dostupný, RESTful vyhledávač. Přidejte úložiště Elasticsearch APT spuštěním:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Výše uvedený příkaz vytvoří nový soubor úložiště pro Elasticsearch a přidá do něj zdrojový záznam. Nyní importujte klíč PGP používaný k podpisu balíčků.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Aktualizujte metadata úložiště APT spuštěním:

sudo apt update

Nainstalujte Elasticsearch spuštěním následujícího příkazu.

sudo apt -y install elasticsearch

Výše uvedený příkaz nainstaluje nejnovější verzi Elasticsearch do vašeho systému. Po instalaci Elasticsearch znovu načtěte servisního démona Systemd spuštěním:

sudo systemctl daemon-reload

Spusťte Elasticsearch a povolte, aby se automaticky spustil při spouštění.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Chcete-li Elasticsearch zastavit, můžete spustit:

sudo systemctl stop elasticsearch

Chcete-li zkontrolovat stav služby, můžete spustit:

sudo systemctl status elasticsearch

Elasticsearch nyní běží na portu 9200. Můžete ověřit, zda funguje a poskytuje výsledky spuštěním následujícího příkazu.

curl -XGET 'localhost:9200/?pretty'

Vytiskne se zpráva podobná následující.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Nainstalujte X-Pack pro Elasticsearch

X-Pack je zásuvný modul Elastic Stack, který poskytuje mnoho doplňkových funkcí, jako je zabezpečení, upozornění, monitorování, hlášení a funkce grafů. X-Pack také poskytuje autentizaci uživatele pro Elasticsearch a Kibana, stejně jako monitorování různých uzlů v Kibaně. Je důležité, aby X-Pack a Elasticsearch byly nainstalovány se stejnou verzí.

X-Pack pro Elasticsearch můžete nainstalovat přímo spuštěním:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Chcete-li pokračovat v instalaci, zadejte ypo zobrazení výzvy. Tento příkaz nainstaluje plugin X-Pack do vašeho systému. Po instalaci X-Pack umožňuje ověřování pro Elasticsearch. Výchozí uživatelské jméno je elastica heslo je changeme. Můžete zkontrolovat, zda je povoleno ověřování spuštěním stejného příkazu, který jste spustili, abyste zkontrolovali, zda Elasticsearch funguje.

curl -XGET 'localhost:9200/?pretty'

Nyní bude výstup hlásit, že autentizace selhala.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Platnost certifikátů Let's Encrypt vyprší za 90 dní, proto se doporučuje nastavit automatické obnovování certifikátů pomocí cronjobů. Cron je systémová služba, která se používá ke spouštění pravidelných úloh.

Otevřete soubor úlohy cron spuštěním:

sudo crontab -e

Přidejte následující řádek na konec souboru.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Výše uvedená úloha cron bude spouštěna každé pondělí v 5:30. Pokud má platnost certifikátu vypršet, automaticky je obnoví.

Upravte výchozí soubor virtuálního hostitele pro Nginx spuštěním následujícího příkazu.

sudo nano /etc/nginx/sites-available/default

Nahraďte stávající obsah následujícím obsahem.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Ujistěte se, že aktualizujete kibana.example.comsvůj skutečný název domény, ověřte také cestu k certifikátu SSL a soukromému klíči.

Restartujte webový server Nginx spuštěním:

sudo systemctl restart nginx

Pokud bylo vše správně nakonfigurováno, uvidíte přihlašovací obrazovku Kibana. Přihlaste se pomocí uživatelského jména kibanaa hesla, které jste si nastavili. Měli byste být schopni se úspěšně přihlásit a zobrazit řídicí panel Kibana. Opusťte řídicí panel, prozatím jej nakonfigurujeme později.

Nainstalujte Logstash

Logstash lze také nainstalovat prostřednictvím oficiálního úložiště Elasticsearch, které jsme přidali dříve. Nainstalujte Logstash spuštěním:

sudo apt -y install logstash

Výše uvedený příkaz nainstaluje nejnovější verzi Logstash do vašeho systému. Po instalaci Logstash znovu načtěte servisního démona Systemd spuštěním:

sudo systemctl daemon-reload

Spusťte Logstash a povolte jeho automatické spouštění při spouštění.

sudo systemctl enable logstash
sudo systemctl start logstash

Nainstalujte X-Pack pro Logstash

X-Pack pro Logstash můžete nainstalovat přímo spuštěním:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack pro Logstash je dodáván s výchozím uživatelem logstash_system. Heslo můžete resetovat spuštěním:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Nahraďte 192.168.0.1skutečnou soukromou IP adresou serveru a NewLogstashPasswordnovým heslem pro uživatele Logstash.

Nyní restartujte službu Logstash spuštěním:

sudo systemctl restart logstash

Upravte konfigurační soubor Logstash spuštěním:

sudo nano /etc/logstash/logstash.yml

Chcete-li povolit monitorování instance Logstash, přidejte na konec souboru následující řádky.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Nahraďte adresu URL Elasticsearch a heslo Logstash podle svého nastavení.

Nyní můžete nakonfigurovat Logstash pro příjem dat pomocí různých Beats. K dispozici je několik typů beatů: Packetbeat, Metricbeat, Filebeat, Winlogbeat a Heartbeat. Budete muset nainstalovat každý Beat samostatně.

Závěr

V tomto tutoriálu jsme nainstalovali Elastic Stack s X-Pack na Ubuntu 17.04. Na vašem serveru je nyní nainstalován základní ELK Stack.