Kā instalēt un konfigurēt Elastic Stack (Elasticsearch, Logstash un Kibana) Ubuntu 17.04

IT infrastruktūrai pārejot uz mākoni un lietiskajam internetam kļūstot populāram, organizācijas un IT speciālisti arvien vairāk izmanto publiskos mākoņpakalpojumus. Palielinoties serveru un tajos strādājošo pakalpojumu skaitam, palielinās arī sistēmas ģenerēto žurnālu skaits. Šo žurnālu analīze infrastruktūrā ir ļoti svarīga vairāku iemeslu dēļ. Tas ietver atbilstību drošības politikām un noteikumiem, sistēmas traucējummeklēšanu, reaģēšanu uz ar drošību saistītu incidentu vai lietotāja uzvedības izpratni.

Trīs ļoti populāras atvērtā pirmkoda lietojumprogrammas Elasticsearch, Logstash un Kibana apvieno kopā, lai izveidotu Elastic Stack vai ELK Stack. Elastic Stack ir ļoti spēcīgs rīks žurnālu un datu meklēšanai, analīzei un vizualizēšanai. Elasticsearch ir izplatīta, reāllaika, mērogojama un ļoti pieejama lietojumprogramma žurnālu glabāšanai un meklēšanai tajos. Logstash apkopo Beats nosūtītos žurnālus, uzlabo tos un pēc tam nosūta Elasticsearch. Kibana ir tīmekļa lietotāja saskarne, ko izmanto, lai vizualizētu žurnālus un praktiskus ieskatus.

Šajā apmācībā mēs Ubuntu 17.04 instalēsim jaunāko Elasticsearch, Logstash un Kibana versiju ar X-Pack.

Priekšnoteikumi

Lai sekotu šai apmācībai, jums būs nepieciešams Vultr 64 bitu Ubuntu 17.04 servera gadījums ar vismaz 4 GB RAM . Ražošanas vidē aparatūras prasības palielinās līdz ar lietotāju un žurnālu skaitu.

Šī apmācība ir uzrakstīta no sudolietotāja viedokļa. Lai iestatītu sudo lietotāju, izpildiet rokasgrāmatu Kā lietot Sudo vietnē Debian .

Jums būs nepieciešams arī domēns, kas vērsts uz jūsu serveri, lai iegūtu sertifikātus no Let's Encrypt CA.

1. darbība. Veiciet sistēmas atjaunināšanu

Pirms pakotņu instalēšanas Ubuntu servera instancē ieteicams atjaunināt sistēmu. Piesakieties, izmantojot sudo lietotāju, un palaidiet šādas komandas, lai atjauninātu sistēmu.

sudo apt update
sudo apt -y upgrade

Kad sistēmas jaunināšana ir pabeigta, pārejiet pie nākamās darbības.

2. darbība. Instalējiet Java

Lai darbotos Elasticsearch, nepieciešama Java 8. Tā atbalsta gan Oracle Java, gan OpenJDK. Šī apmācības sadaļa parāda gan Oracle Java, gan OpenJDK instalēšanu.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Oracle Java instalēšana

Lai instalētu Oracle Java savā Ubuntu sistēmā, jums būs jāpievieno Oracle Java PPA, izpildot:

sudo add-apt-repository ppa:webupd8team/java

Tagad atjauniniet repozitorija informāciju, izpildot:

sudo apt update

Tagad varat viegli instalēt jaunāko stabilo Java 8 versiju, palaižot:

sudo apt -y install oracle-java8-installer

Pieņemiet licences līgumu, kad tas tiek prasīts. Kad instalēšana ir pabeigta, varat pārbaudīt Java versiju, izpildot:

java -version

Jums vajadzētu redzēt izvadi, kas ir līdzīga:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Varat arī iestatīt JAVA_HOMEun citus noklusējuma iestatījumus, instalējot oracle-java8-set-default. Palaist:

sudo apt -y install oracle-java8-set-default

Tagad varat pārbaudīt, vai JAVA_HOMEmainīgais ir iestatīts, izpildot:

echo "$JAVA_HOME"

Izvadei jābūt līdzīgai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ja nesaņemat iepriekš parādīto izvadi, iespējams, jums būs jāatsakās un vēlreiz jāpiesakās čaulā. Oracle Java tagad ir instalēta jūsu serverī. Tagad varat pāriet uz apmācības 3. darbību, izlaižot OpenJDK instalēšanu.

OpenJDK instalēšana

OpenJDK instalēšana ir diezgan vienkārša. Vienkārši palaidiet šo komandu, lai instalētu OpenJDK.

sudo apt -y install default-jdk

Kad instalēšana ir pabeigta, varat pārbaudīt Java versiju, izpildot:

java -version

Jums vajadzētu redzēt izvadi, kas ir līdzīga:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Lai iestatītu JAVA_HOMEmainīgo, palaidiet šādu komandu:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Pārlādējiet vides failu, izpildot:

sudo source /etc/environment

Tagad varat pārbaudīt, vai JAVA_HOMEmainīgais ir iestatīts, izpildot:

echo "$JAVA_HOME"

Izvadei jābūt līdzīgai:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3. darbība. Instalējiet Elasticsearch

Elasticsearch ir īpaši ātra, izplatīta, ļoti pieejama, RESTful meklētājprogramma. Pievienojiet Elasticsearch APT repozitoriju, izpildot:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Iepriekš minētā komanda izveido jaunu Elasticsearch repozitorija failu un pievieno tam avota ierakstu. Tagad importējiet PGP atslēgu, kas tika izmantota pakotņu parakstīšanai.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Atjauniniet APT repozitorija metadatus, izpildot:

sudo apt update

Instalējiet Elasticsearch, izpildot šo komandu.

sudo apt -y install elasticsearch

Iepriekš minētā komanda instalēs jūsu sistēmā jaunāko Elasticsearch versiju. Kad Elasticsearch ir instalēta, atkārtoti ielādējiet Systemd pakalpojuma dēmonu, izpildot:

sudo systemctl daemon-reload

Palaidiet Elasticsearch un iespējojiet to automātiski palaist sāknēšanas laikā.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Lai apturētu Elasticsearch, varat palaist:

sudo systemctl stop elasticsearch

Lai pārbaudītu pakalpojuma statusu, varat palaist:

sudo systemctl status elasticsearch

Elasticsearch tagad darbojas portā 9200. Varat pārbaudīt, vai tas darbojas un rada rezultātus, izpildot šo komandu.

curl -XGET 'localhost:9200/?pretty'

Tiks izdrukāts šāds ziņojums.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Instalējiet X-Pack for Elasticsearch

X-Pack ir elastīgās kaudzes spraudnis, kas nodrošina daudzas papildu funkcijas, piemēram, drošību, brīdinājumus, uzraudzību, ziņošanu un diagrammas iespējas. X-Pack nodrošina arī Elasticsearch un Kibana lietotāju autentifikāciju, kā arī dažādu Kibana mezglu uzraudzību. Ir svarīgi, lai X-Pack un Elasticsearch tiktu instalēti ar vienu un to pašu versiju.

Jūs varat instalēt X-Pack for Elasticsearch tieši, palaižot:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Lai turpinātu instalēšanu, ievadiet, ykad tas tiek prasīts. Šī komanda instalēs X-Pack spraudni jūsu sistēmā. Kad tas ir instalēts, X-Pack iespējo Elasticsearch autentifikāciju. Noklusējuma lietotājvārds elasticun parole ir changeme. Varat pārbaudīt, vai autentifikācija ir iespējota, izpildot to pašu komandu, kuru palaidāt, lai pārbaudītu, vai Elasticsearch darbojas.

curl -XGET 'localhost:9200/?pretty'

Tagad izvade pateiks, ka autentifikācija neizdevās.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Mainiet noklusējuma paroli changeme, izpildot šo komandu.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Aizstāt NewPasswordar faktisko paroli, kuru vēlaties izmantot. Varat pārbaudīt, vai jaunā parole ir iestatīta un vai Elasticsearch darbojas, izpildot šo komandu.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Jūs redzēsit izvadi, kas parāda veiksmīgu vaicājuma izpildi.

Tālāk rediģējiet Elasticsearch konfigurācijas failu, izpildot:

sudo nano /etc/elasticsearch/elasticsearch.yml

Atrodiet tālāk norādītās rindiņas, izņemiet no tām komentārus un mainiet tās saskaņā ar sniegtajiem norādījumiem.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Attiecībā uz network.host, norādiet sistēmai piešķirto privāto IP adresi. Restartējiet Elasticsearch instanci, izpildot:

sudo systemctl restart elasticsearch

Tagad, nevis localhost, jums būs jāizmanto IP adrese, lai izpildītu vaicājumu, izmantojot curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Aizstāt 192.168.0.1ar faktisko servera privāto IP adresi. Tagad, kad esam instalējuši Elasticsearch, turpiniet, lai instalētu Kibana.

4. darbība. Instalējiet Kibana

Kibana tiek izmantota, lai vizualizētu žurnālus un praktiskus ieskatus, izmantojot tīmekļa saskarni. To var arī izmantot, lai pārvaldītu Elasticsearch. Ieteicams instalēt tādu pašu Kibana versiju kā Elasticsearch.

Tā kā mēs jau esam pievienojuši Elasticsearch repozitoriju un PGP atslēgu, mēs varam instalēt Kibana tieši, palaižot:

sudo apt -y install kibana

Iepriekšējā komanda jūsu sistēmā instalēs jaunāko Kibana versiju. Kad Kibana ir instalēta, atkārtoti ielādējiet Systemd pakalpojuma dēmonu, izpildot:

sudo systemctl daemon-reload

Varat palaist Kibana un iespējot to automātiski palaist sāknēšanas laikā, palaižot:

sudo systemctl enable kibana
sudo systemctl start kibana

Instalējiet X-Pack for Kibana

X-Pack for Kibana var instalēt tieši, palaižot:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana pēc noklusējuma ir iespējots Graph, mašīnmācīšanās un uzraudzība. X-Pack nodrošina arī Kibana autentifikāciju. Noklusējuma lietotājvārds kibanaun parole ir changeme. Ir svarīgi nomainīt Kibana lietotāja noklusējuma paroli. Palaidiet šo komandu, lai mainītu paroli.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Aizstāt 192.168.0.1ar faktisko servera privāto IP adresi un NewKibanaPasswordjauno Kibana lietotāja paroli.

Rediģējiet Kibana konfigurācijas failu, izpildot:

sudo nano /etc/kibana/kibana.yml

Atrodiet šādas rindas un mainiet vērtības saskaņā ar sniegtajām instrukcijām.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Noņemiet komentārus no iepriekš minētajām rindiņām un elasticsearch.urlnorādiet Elasticsearch instances URL. IP adresei ir jābūt tai pašai IP adresei, kas tika izmantota elasticsearch.yml. Turklāt iestatiet lietotājvārdu no userlīdz elasticun norādiet arī elastīgā lietotāja paroli, kuru esat iestatījis iepriekš.

Restartējiet Kibana gadījumu, izpildot:

sudo systemctl restart kibana

Instalējiet Nginx kā Kibana apgriezto starpniekserveri

Tā kā Kibana darbojas localhostostā 5601, ieteicams iestatīt apgriezto starpniekserveri ar Apache vai Nginx, lai piekļūtu Kibanai ārpus vietējā tīkla. Šajā apmācībā mēs iestatīsim Nginx kā Kibana apgriezto starpniekserveri. Mēs arī nodrošināsim Nginx gadījumu ar Let's Encrypt bezmaksas SSL sertifikātu.

Instalējiet Nginx, palaižot:

sudo apt -y install nginx

Sāciet un iespējojiet Nginx automātisku palaišanu sāknēšanas laikā.

sudo systemctl start nginx
sudo systemctl enable nginx

Tagad, kad Nginx tīmekļa serveris ir instalēts un darbojas, mēs varam turpināt instalēt Certbot, kas ir oficiālais un automātiskais Let's Encrypt sertifikāta klients. Pievienojiet savai sistēmai Certbot PPA, izpildot:

sudo add-apt-repository ppa:certbot/certbot

Atjauniniet repozitorija meta informāciju.

sudo apt update

Tagad varat viegli instalēt jaunāko Certbot versiju, izpildot:

sudo apt -y install python-certbot-nginx 

Iepriekšējā komanda atrisinās un instalēs vajadzīgās atkarības kopā ar Certbot pakotni.

Tagad, kad ir instalēts Certbot, ģenerējiet sertifikātus savam domēnam, izpildot:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Neaizmirstiet nomainīt kibana.example.comar savu faktisko domēna nosaukumu. Iepriekšējā komanda izmantos Certbot klientu. certonlyParametrs stāsta Certbot klientam, lai radītu tikai sertifikātus. Izmantojot šo opciju, tiek nodrošināts, ka sertifikāti netiek instalēti automātiski un ka Nginx konfigurācija nav mainīta. Pārbaude tiks veikta, ievietojot izaicinājuma failus norādītajā webrootdirektorijā.

Certbot lūgs jums norādīt savu e-pasta adresi, lai nosūtītu paziņojumu par atjaunošanu. Jums būs arī jāpiekrīt licences līgumam.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Ģenerētie sertifikāti, visticamāk, tiks saglabāti /etc/letsencrypt/live/kibana.example.com/direktorijā. SSL sertifikāts tiks saglabāts kā , fullchain.pemun privātā atslēga tiks saglabāta kā privkey.pem.

Let's Encrypt sertifikātu derīguma termiņš beigsies 90 dienu laikā, tāpēc ir ieteicams iestatīt sertifikātu automātisko atjaunošanu, izmantojot cronjobs. Cron ir sistēmas pakalpojums, ko izmanto periodisku uzdevumu izpildei.

Atveriet cron darba failu, izpildot:

sudo crontab -e

Faila beigās pievienojiet šādu rindu.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Iepriekš minētais cron darbs darbosies katru pirmdienu pulksten 5:30. Ja sertifikāta derīguma termiņš ir beidzies, tas automātiski atjaunos to.

Rediģējiet Nginx noklusējuma virtuālās resursdatora failu, izpildot šo komandu.

sudo nano /etc/nginx/sites-available/default

Aizstāt esošo saturu ar šādu saturu.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Noteikti atjauniniet kibana.example.comar savu faktisko domēna nosaukumu, kā arī pārbaudiet ceļu uz SSL sertifikātu un privāto atslēgu.

Restartējiet Nginx tīmekļa serveri, izpildot:

sudo systemctl restart nginx

Ja viss ir pareizi konfigurēts, jūs redzēsit Kibana pieteikšanās ekrānu. Piesakieties, izmantojot kibanajūsu iestatīto lietotājvārdu un paroli. Jums vajadzētu būt iespējai veiksmīgi pieteikties un redzēt Kibana informācijas paneli. Pagaidām atstājiet informācijas paneli, mēs to konfigurēsim vēlāk.

Instalējiet Logstash

Logstash var instalēt arī, izmantojot oficiālo Elasticsearch repozitoriju, kuru mēs pievienojām iepriekš. Instalējiet Logstash, izpildot:

sudo apt -y install logstash

Iepriekš minētā komanda instalēs jūsu sistēmā jaunāko Logstash versiju. Kad Logstash ir instalēts, atkārtoti ielādējiet Systemd pakalpojuma dēmonu, izpildot:

sudo systemctl daemon-reload

Palaidiet Logstash un iespējojiet to automātiski palaist sāknēšanas laikā.

sudo systemctl enable logstash
sudo systemctl start logstash

Instalējiet X-Pack for Logstash

Jūs varat instalēt X-Pack for Logstash tieši, palaižot:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash tiek piegādāts ar noklusējuma lietotāju logstash_system. Paroli var atiestatīt, izpildot:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Aizstāt 192.168.0.1ar faktisko servera privāto IP adresi un NewLogstashPasswordjauno Logstash lietotāja paroli.

Tagad restartējiet Logstash pakalpojumu, palaižot:

sudo systemctl restart logstash

Rediģējiet Logstash konfigurācijas failu, izpildot:

sudo nano /etc/logstash/logstash.yml

Faila beigās pievienojiet šādas rindas, lai iespējotu Logstash instances uzraudzību.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Nomainiet Elasticsearch URL un Logstash paroli atbilstoši jūsu iestatījumiem.

Tagad varat konfigurēt Logstash, lai saņemtu datus, izmantojot dažādus Beats. Ir pieejami vairāki Beats veidi: Packetbeat, Metricbeat, Filebeat, Winlogbeat un Heartbeat. Jums būs jāinstalē katrs Beat atsevišķi.

Secinājums

Šajā apmācībā mēs esam instalējuši Elastic Stack ar X-Pack operētājsistēmā Ubuntu 17.04. Tagad jūsu serverī ir instalēts pamata ELK Stack.