Kuinka asentaa ja määrittää Elastic Stack (Elasticsearch, Logstash ja Kibana) Ubuntuun 17.04

IT-infrastruktuurin siirtyessä pilveen ja esineiden internetin yleistyessä organisaatiot ja IT-ammattilaiset käyttävät julkisia pilvipalveluita entistä enemmän. Palvelimien ja niillä toimivien palveluiden lisääntyessä myös järjestelmän luomien lokien määrä kasvaa. Näiden lokien analysointi on erittäin tärkeää infrastruktuurissa useista syistä. Tämä sisältää tietoturvakäytäntöjen ja -määräysten noudattamisen, järjestelmän vianmäärityksen, tietoturvaan liittyviin tapahtumiin reagoimisen tai käyttäjien käyttäytymisen ymmärtämisen.

Kolme erittäin suosittua avoimen lähdekoodin sovellusta, Elasticsearch, Logstash ja Kibana, yhdistävät yhdessä luomaan Elastic Stackin tai ELK Stackin. Elastic Stack on erittäin tehokas työkalu lokien ja tietojen etsimiseen, analysointiin ja visualisointiin. Elasticsearch on hajautettu, reaaliaikainen, skaalautuva ja erittäin saatavilla oleva sovellus lokien tallentamiseen ja niiden läpi hakemiseen. Logstash kerää Beatsin lähettämät lokit, parantaa niitä ja lähettää sen sitten Elasticsearchille. Kibana on verkkokäyttöliittymä, jota käytetään lokien ja käyttökelpoisten oivallusten visualisointiin.

Tässä opetusohjelmassa asennamme Elasticsearchin, Logstashin ja Kibanan uusimman version X-Packilla Ubuntu 17.04:ään.

Edellytykset

Tämän opetusohjelman seuraamiseksi tarvitset Vultr 64-bittisen Ubuntu 17.04 -palvelinesiintymän, jossa on vähintään 4 Gt RAM-muistia . Tuotantoympäristössä laitteistovaatimukset kasvavat käyttäjien ja lokien määrän myötä.

Tämä opetusohjelma on kirjoitettu sudokäyttäjän näkökulmasta. Määritä sudo-käyttäjä noudattamalla Sudon käyttäminen Debianissa -opasta.

Tarvitset myös palvelimellesi suunnatun toimialueen, jotta voit hankkia sertifikaatteja Let's Encrypt CA:lta.

Vaihe 1: Suorita järjestelmäpäivitys

Ennen kuin asennat paketteja Ubuntu-palvelinesiintymään, on suositeltavaa päivittää järjestelmä. Kirjaudu sisään sudo-käyttäjällä ja päivitä järjestelmä suorittamalla seuraavat komennot.

sudo apt update
sudo apt -y upgrade

Kun järjestelmä on päivitetty, siirry seuraavaan vaiheeseen.

Vaihe 2: Asenna Java

Elasticsearch vaatii Java 8:n toimiakseen. Se tukee sekä Oracle Javaa että OpenJDK:ta. Tämä opetusohjelman osa esittelee sekä Oracle Javan että OpenJDK:n asennuksen.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Oracle Javan asentaminen

Jos haluat asentaa Oracle Javan Ubuntu-järjestelmääsi, sinun on lisättävä Oracle Java PPA suorittamalla:

sudo add-apt-repository ppa:webupd8team/java

Päivitä nyt arkiston tiedot suorittamalla:

sudo apt update

Nyt voit helposti asentaa Java 8:n uusimman vakaan version suorittamalla:

sudo apt -y install oracle-java8-installer

Hyväksy lisenssisopimus pyydettäessä. Kun asennus on valmis, voit tarkistaa Java-version suorittamalla:

java -version

Sinun pitäisi nähdä samanlainen tulos kuin:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Voit myös asettaa JAVA_HOMEja muut oletusasetukset asentamalla oracle-java8-set-default. Juosta:

sudo apt -y install oracle-java8-set-default

Voit nyt tarkistaa, onko JAVA_HOMEmuuttuja asetettu suorittamalla:

echo "$JAVA_HOME"

Tulosteen tulee olla seuraavanlainen:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Jos et saa yllä näkyvää tulostetta, saatat joutua kirjautumaan ulos ja kirjautumaan komentotulkkiin uudelleen. Oracle Java on nyt asennettu palvelimellesi. Voit nyt siirtyä opetusohjelman vaiheeseen 3 ohittamalla OpenJDK:n asennuksen.

OpenJDK:n asennus

OpenJDK:n asennus on melko yksinkertaista. Asenna OpenJDK suorittamalla seuraava komento.

sudo apt -y install default-jdk

Kun asennus on valmis, voit tarkistaa Java-version suorittamalla:

java -version

Sinun pitäisi nähdä samanlainen tulos kuin:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Aseta JAVA_HOMEmuuttuja suorittamalla seuraava komento:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Lataa ympäristötiedosto uudelleen suorittamalla:

sudo source /etc/environment

Voit nyt tarkistaa, onko JAVA_HOMEmuuttuja asetettu suorittamalla:

echo "$JAVA_HOME"

Tulosteen tulee olla seuraavanlainen:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Vaihe 3: Asenna Elasticsearch

Elasticsearch on erittäin nopea, hajautettu, erittäin saatavilla oleva, RESTful hakukone. Lisää Elasticsearch APT -arkisto suorittamalla:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Yllä oleva komento luo uuden arkistotiedoston Elasticsearchille ja lisää siihen lähdemerkinnän. Tuo nyt pakettien allekirjoittamiseen käytetty PGP-avain.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Päivitä APT-arkiston metatiedot suorittamalla:

sudo apt update

Asenna Elasticsearch suorittamalla seuraava komento.

sudo apt -y install elasticsearch

Yllä oleva komento asentaa Elasticsearchin uusimman version järjestelmääsi. Kun Elasticsearch on asennettu, lataa Systemd-palveludaemon uudelleen suorittamalla:

sudo systemctl daemon-reload

Käynnistä Elasticsearch ja ota se käyttöön automaattisesti käynnistyksen yhteydessä.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Pysäytä Elasticsearch suorittamalla:

sudo systemctl stop elasticsearch

Voit tarkistaa palvelun tilan seuraavasti:

sudo systemctl status elasticsearch

Elasticsearch on nyt käynnissä portissa 9200. Voit tarkistaa, toimiiko se ja tuottaako tuloksia suorittamalla seuraavan komennon.

curl -XGET 'localhost:9200/?pretty'

Seuraavan kaltainen viesti tulostetaan.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Asenna X-Pack for Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Let's Encrypt -sertifikaattien on määrä vanhentua 90 päivän kuluttua, joten on suositeltavaa määrittää varmenteiden automaattinen uusiminen käyttämällä cronjobsia. Cron on järjestelmäpalvelu, jota käytetään säännöllisten tehtävien suorittamiseen.

Avaa cron-työtiedosto suorittamalla:

sudo crontab -e

Lisää seuraava rivi tiedoston loppuun.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Yllä oleva cron-työ suoritetaan joka maanantai klo 5.30. Jos varmenteen voimassaolo päättyy, se uusii ne automaattisesti.

Muokkaa Nginxin oletusarvoista virtuaalista isäntätiedostoa suorittamalla seuraava komento.

sudo nano /etc/nginx/sites-available/default

Korvaa olemassa oleva sisältö seuraavalla sisällöllä.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Varmista, että päivität kibana.example.comtodellisen verkkotunnuksesi nimellä, tarkista myös SSL-varmenteen ja yksityisen avaimen polku.

Käynnistä Nginx-verkkopalvelin uudelleen suorittamalla:

sudo systemctl restart nginx

Jos kaikki on määritetty oikein, näet Kibana-kirjautumisnäytön. Kirjaudu sisään antamallasi käyttäjätunnuksella kibanaja salasanalla. Sinun pitäisi pystyä kirjautumaan sisään ja nähdä Kibana-hallintapaneeli. Jätä kojelauta toistaiseksi, määritämme sen myöhemmin.

Asenna Logstash

Logstash voidaan asentaa myös virallisen Elasticsearch-arkiston kautta, jonka olemme lisänneet aiemmin. Asenna Logstash suorittamalla:

sudo apt -y install logstash

Yllä oleva komento asentaa uusimman Logstash-version järjestelmääsi. Kun Logstash on asennettu, lataa Systemd-palveludaemon uudelleen suorittamalla:

sudo systemctl daemon-reload

Käynnistä Logstash ja ota se käyttöön automaattisesti käynnistyksen yhteydessä.

sudo systemctl enable logstash
sudo systemctl start logstash

Asenna X-Pack for Logstash

Voit asentaa X-Pack for Logstash suoraan suorittamalla:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash mukana tulee oletuskäyttäjä logstash_system. Voit nollata salasanan suorittamalla:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Korvaa 192.168.0.1palvelimen todellisella yksityisellä IP-osoitteella ja NewLogstashPasswordLogstash-käyttäjän uudella salasanalla.

Käynnistä nyt Logstash-palvelu uudelleen suorittamalla:

sudo systemctl restart logstash

Muokkaa Logstash-määritystiedostoa suorittamalla:

sudo nano /etc/logstash/logstash.yml

Lisää seuraavat rivit tiedoston loppuun Logstash-esiintymän valvonnan mahdollistamiseksi.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Vaihda Elasticsearchin URL-osoite ja Logstash-salasana asetusten mukaan.

Voit nyt määrittää Logstashin vastaanottamaan tietoja eri Beattien avulla. Saatavilla on useita eri tyyppejä: Packetbeat, Metricbeat, Filebeat, Winlogbeat ja Heartbeat. Sinun on asennettava jokainen Beat erikseen.

Johtopäätös

Tässä opetusohjelmassa olemme asentaneet Elastic Stackin X-Packilla Ubuntu 17.04:ään. Perus ELK-pino on nyt asennettu palvelimellesi.