Kaip įdiegti ir konfigūruoti „Elastic Stack“ („Elasticsearch“, „Logstash“ ir „Kibana“) „Ubuntu 17.04“

Būtinos sąlygos

1 veiksmas: atnaujinkite sistemą

2 veiksmas: įdiekite „Java“.

3 veiksmas: įdiekite „Elasticsearch“.

4 veiksmas: įdiekite „Kibana“.

Įdiekite „Logstash“.

Išvada

IT infrastruktūrai pereinant į debesis ir populiarėjant daiktų internetui, organizacijos ir IT specialistai vis dažniau naudojasi viešosiomis debesijos paslaugomis. Daugėjant serverių ir juose veikiančių paslaugų, didėja ir sistemos generuojamų žurnalų skaičius. Šių žurnalų analizė infrastruktūroje yra labai svarbi dėl kelių priežasčių. Tai apima saugos politikos ir taisyklių laikymąsi, sistemos trikčių šalinimą, reagavimą į su saugumu susijusį incidentą arba vartotojo elgsenos supratimą.

Trys labai populiarios atvirojo kodo programos, pavadintos Elasticsearch, Logstash ir Kibana, kartu sukuria Elastic Stack arba ELK Stack. Elastic Stack yra labai galingas įrankis žurnalams ir duomenims ieškoti, analizuoti ir vizualizuoti. „Elasticsearch“ yra paskirstyta, realiuoju laiku, keičiamo dydžio ir labai prieinama programa, skirta žurnalams saugoti ir juose ieškoti. „Logstash“ surenka „Beats“ atsiųstus žurnalus, juos patobulina ir siunčia „Elasticsearch“. „Kibana“ yra žiniatinklio vartotojo sąsaja, naudojama žurnalams ir veiksmingoms įžvalgoms vizualizuoti.

Šioje pamokoje mes įdiegsime naujausią Elasticsearch, Logstash ir Kibana versiją su X-Pack Ubuntu 17.04.

Būtinos sąlygos

Norėdami sekti šią mokymo programą, jums reikės Vultr 64 bitų Ubuntu 17.04 serverio egzemplioriaus su bent 4 GB RAM . Gamybos aplinkoje aparatinės įrangos reikalavimai didėja didėjant vartotojų ir žurnalų skaičiui.

Ši pamoka parašyta iš sudovartotojo perspektyvos. Norėdami nustatyti sudo vartotoją, vadovaukitės „ Sudo“ naudojimo „Debian“ vadove.

Taip pat reikės domeno, nukreipto į jūsų serverį, kad gautumėte sertifikatus iš Let's Encrypt CA.

1 veiksmas: atnaujinkite sistemą

Prieš diegiant bet kokius paketus Ubuntu serverio egzemplioriuje, rekomenduojama atnaujinti sistemą. Prisijunkite naudodami sudo vartotoją ir paleiskite šias komandas, kad atnaujintumėte sistemą.

sudo apt update
sudo apt -y upgrade

Kai sistema bus atnaujinta, pereikite prie kito veiksmo.

2 veiksmas: įdiekite „Java“.

Kad Elasticsearch veiktų, reikalinga Java 8. Jis palaiko ir Oracle Java, ir OpenJDK. Šiame vadovo skyriuje parodytas „Oracle Java“ ir „OpenJDK“ diegimas.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

„Oracle Java“ diegimas

Norėdami įdiegti „Oracle Java“ savo Ubuntu sistemoje, turėsite pridėti „Oracle Java PPA“ paleisdami:

sudo add-apt-repository ppa:webupd8team/java

Dabar atnaujinkite saugyklos informaciją paleisdami:

sudo apt update

Dabar galite lengvai įdiegti naujausią stabilią „Java 8“ versiją paleisdami:

sudo apt -y install oracle-java8-installer

Kai būsite paraginti, sutikite su licencijos sutartimi. Baigę diegti, galite patikrinti „Java“ versiją paleisdami:

java -version

Turėtumėte matyti išvestį, panašią į:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Taip pat galite nustatyti JAVA_HOMEir kitus numatytuosius nustatymus įdiegdami oracle-java8-set-default. Vykdyti:

sudo apt -y install oracle-java8-set-default

Dabar galite patikrinti, ar JAVA_HOMEkintamasis nustatytas, vykdydami:

echo "$JAVA_HOME"

Išvestis turėtų būti panaši į:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Jei negaunate aukščiau nurodytos išvesties, gali tekti atsijungti ir vėl prisijungti prie apvalkalo. „Oracle Java“ dabar įdiegta jūsų serveryje. Dabar galite pereiti prie mokymo programos 3 veiksmo, praleisdami OpenJDK diegimą.

„OpenJDK“ diegimas

„OpenJDK“ diegimas yra gana paprastas. Tiesiog paleiskite šią komandą, kad įdiegtumėte OpenJDK.

sudo apt -y install default-jdk

Baigę diegti, galite patikrinti „Java“ versiją paleisdami:

java -version

Turėtumėte matyti išvestį, panašią į:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Norėdami nustatyti JAVA_HOMEkintamąjį, paleiskite šią komandą:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Iš naujo įkelkite aplinkos failą paleisdami:

sudo source /etc/environment

Dabar galite patikrinti, ar JAVA_HOMEkintamasis nustatytas, vykdydami:

echo "$JAVA_HOME"

Išvestis turėtų būti panaši į:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3 veiksmas: įdiekite „Elasticsearch“.

Elasticsearch yra itin greita, paskirstyta, labai prieinama, RESTful paieškos sistema. Pridėkite Elasticsearch APT saugyklą paleisdami:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Aukščiau pateikta komanda sukuria naują Elasticsearch saugyklos failą ir prideda prie jo šaltinio įrašą. Dabar importuokite PGP raktą, naudojamą paketams pasirašyti.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Atnaujinkite APT saugyklos metaduomenis paleisdami:

sudo apt update

Įdiekite Elasticsearch vykdydami šią komandą.

sudo apt -y install elasticsearch

Aukščiau pateikta komanda įdiegs naujausią Elasticsearch versiją jūsų sistemoje. Įdiegę Elasticsearch, iš naujo įkelkite Systemd paslaugų demoną paleisdami:

sudo systemctl daemon-reload

Paleiskite „Elasticsearch“ ir įgalinkite jį automatiškai paleisti įkrovos metu.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Norėdami sustabdyti Elasticsearch, galite paleisti:

sudo systemctl stop elasticsearch

Norėdami patikrinti paslaugos būseną, galite paleisti:

sudo systemctl status elasticsearch

Elasticsearch dabar veikia prievade 9200. Galite patikrinti, ar jis veikia ir duoda rezultatų, vykdydami šią komandą.

curl -XGET 'localhost:9200/?pretty'

Bus išspausdintas pranešimas, panašus į toliau pateiktą.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Įdiekite X-Pack, skirtą Elasticsearch

„X-Pack“ yra „Elastic Stack“ papildinys, suteikiantis daug papildomų funkcijų, tokių kaip sauga, įspėjimas, stebėjimas, ataskaitų teikimas ir diagramos. „X-Pack“ taip pat teikia „Elasticsearch“ ir „Kibana“ naudotojo autentifikavimą, taip pat stebi skirtingus „Kibana“ mazgus. Svarbu, kad X-Pack ir Elasticsearch būtų įdiegti su ta pačia versija.

Galite įdiegti X-Pack for Elasticsearch tiesiogiai paleisdami:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Norėdami tęsti diegimą, įveskite, ykai būsite paraginti. Ši komanda įdiegs X-Pack papildinį jūsų sistemoje. Įdiegus X-Pack įgalinamas Elasticsearch autentifikavimas. Numatytasis vartotojo vardas elasticir slaptažodis yra changeme. Galite patikrinti, ar autentifikavimas įjungtas, vykdydami tą pačią komandą, kurią vykdėte norėdami patikrinti, ar veikia Elasticsearch.

curl -XGET 'localhost:9200/?pretty'

Dabar išvestis pasakys, kad autentifikavimas nepavyko.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Pakeiskite numatytąjį slaptažodį changemevykdydami šią komandą.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Pakeiskite NewPasswordtikru slaptažodžiu, kurį norite naudoti. Galite patikrinti, ar nustatytas naujas slaptažodis ir ar Elasticsearch veikia, vykdydami šią komandą.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Pamatysite išvestį, rodančią sėkmingą užklausos vykdymą.

Be to, redaguokite Elasticsearch konfigūracijos failą paleisdami:

sudo nano /etc/elasticsearch/elasticsearch.yml

Raskite šias eilutes, panaikinkite jas komentarus ir pakeiskite jas pagal pateiktas instrukcijas.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Jei naudojate network.host, nurodykite sistemai priskirtą privatų IP adresą. Iš naujo paleiskite Elasticsearch egzempliorių paleisdami:

sudo systemctl restart elasticsearch

Dabar vietoj localhost, turėsite naudoti IP adresą, kad vykdytumėte užklausą naudodami curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Panaikinkite aukščiau pateiktų eilučių komentarus ir elasticsearch.urlpateikite Elasticsearch egzemplioriaus URL. IP adresas turi būti tas pats IP, kuris buvo naudojamas elasticsearch.yml. Be to, nustatykite vartotojo vardą nuo useriki elasticir pateikite elastingo vartotojo slaptažodį, kurį nustatėte anksčiau.

Iš naujo paleiskite „Kibana“ egzempliorių paleisdami:

sudo systemctl restart kibana

Įdiekite „Nginx“ kaip atvirkštinį „Kibana“ tarpinį serverį

Kadangi „Kibana“ localhostveikia uoste 5601, rekomenduojama nustatyti atvirkštinį tarpinį serverį naudojant „Apache“ arba „Nginx“, kad galėtumėte pasiekti „Kibana“ iš ne vietinio tinklo. Šioje pamokoje mes nustatysime „Nginx“ kaip atvirkštinį „Kibana“ tarpinį serverį. Mes taip pat apsaugosime „Nginx“ egzempliorių naudodami „Let's Encrypt“ nemokamą SSL sertifikatą.

Įdiekite „Nginx“ paleisdami:

sudo apt -y install nginx

Paleiskite ir įgalinkite „Nginx“ automatiškai paleisti įkrovos metu.

sudo systemctl start nginx
sudo systemctl enable nginx

Dabar, kai Nginx žiniatinklio serveris yra įdiegtas ir veikia, galime pradėti diegti Certbot, kuris yra oficialus ir automatinis Let's Encrypt sertifikato klientas. Pridėkite Certbot PPA prie savo sistemos paleisdami:

sudo add-apt-repository ppa:certbot/certbot

Atnaujinkite saugyklos meta informaciją.

sudo apt update

Dabar galite lengvai įdiegti naujausią Certbot versiją paleisdami:

sudo apt -y install python-certbot-nginx 

Ankstesnė komanda išspręs ir įdiegs reikiamas priklausomybes kartu su Certbot paketu.

Dabar, kai įdiegėme Certbot, sugeneruokite savo domeno sertifikatus vykdydami:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Nepamirškite pakeisti kibana.example.comtikrojo domeno vardo. Ankstesnė komanda naudos Certbot klientą. certonlyParametras pasakoja Certbot klientui generuoti tik sertifikatus. Naudojant šią parinktį užtikrinama, kad sertifikatai nebūtų automatiškai įdiegti ir kad Nginx konfigūracija nepasikeitė. Patvirtinimas bus atliktas įdėjus iššūkio failus į nurodytą webrootkatalogą.

„Certbot“ paprašys jūsų nurodyti el. pašto adresą, kad išsiųstumėte pranešimą apie atnaujinimą. Taip pat turėsite sutikti su licencijos sutartimi.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Sugeneruoti sertifikatai greičiausiai bus saugomi /etc/letsencrypt/live/kibana.example.com/kataloge. SSL sertifikatas bus saugomas kaip , fullchain.pemo privatusis raktas bus saugomas kaip privkey.pem.

„Encrypt“ sertifikatai baigiasi po 90 dienų, todėl rekomenduojama nustatyti automatinį sertifikatų atnaujinimą naudojant cronjobs. Cron yra sistemos paslauga, naudojama periodinėms užduotims vykdyti.

Atidarykite cron darbo failą paleisdami:

sudo crontab -e

Failo pabaigoje pridėkite šią eilutę.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Pirmiau nurodytas cron darbas bus vykdomas kiekvieną pirmadienį 5:30 val. Jei baigiasi sertifikato galiojimo laikas, jis automatiškai atnaujinamas.

Redaguokite numatytąjį virtualaus pagrindinio kompiuterio failą, skirtą Nginx, vykdydami šią komandą.

sudo nano /etc/nginx/sites-available/default

Pakeiskite esamą turinį tokiu turiniu.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Įsitikinkite, kad atnaujinote kibana.example.comtikrąjį domeno pavadinimą, taip pat patikrinkite kelią į SSL sertifikatą ir privatųjį raktą.

Iš naujo paleiskite „Nginx“ žiniatinklio serverį paleisdami:

sudo systemctl restart nginx

Jei viskas sukonfigūruota teisingai, pamatysite Kibana prisijungimo ekraną. Prisijunkite naudodami vartotojo vardą kibanair slaptažodį, kurį nustatėte. Turėtumėte sėkmingai prisijungti ir pamatyti „Kibana“ prietaisų skydelį. Palikite prietaisų skydelį, kol kas jį sukonfigūruosime vėliau.

Įdiekite „Logstash“.

„Logstash“ taip pat gali būti įdiegtas per oficialią „Elasticsearch“ saugyklą, kurią įtraukėme anksčiau. Įdiekite „Logstash“ paleisdami:

sudo apt -y install logstash

Aukščiau pateikta komanda įdiegs naujausią „Logstash“ versiją jūsų sistemoje. Įdiegę „Logstash“, iš naujo įkelkite „Systemd“ paslaugų demoną paleisdami:

sudo systemctl daemon-reload

Paleiskite „Logstash“ ir įgalinkite jį automatiškai paleisti įkrovos metu.

sudo systemctl enable logstash
sudo systemctl start logstash

Įdiekite „X-Pack“, skirtą „Logstash“.

X-Pack for Logstash galite įdiegti tiesiogiai paleisdami:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

„X-Pack for Logstash“ pateikiamas su numatytuoju vartotoju logstash_system. Slaptažodį galite nustatyti iš naujo paleisdami:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Pakeiskite 192.168.0.1tikruoju privačiu serverio IP adresu ir NewLogstashPasswordnauju Logstash vartotojo slaptažodžiu.

Dabar iš naujo paleiskite „Logstash“ paslaugą paleisdami:

sudo systemctl restart logstash

Redaguokite Logstash konfigūracijos failą paleisdami:

sudo nano /etc/logstash/logstash.yml

Failo pabaigoje pridėkite šias eilutes, kad galėtumėte stebėti Logstash egzempliorių.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Pakeiskite Elasticsearch URL ir Logstash slaptažodį pagal savo sąranką.

Dabar galite sukonfigūruoti „Logstash“, kad gautų duomenis naudodami skirtingus „Beats“. Galimi keli ritmų tipai: Packetbeat, Metricbeat, Filebeat, Winlogbeat ir Heartbeat. Kiekvieną „Beat“ turėsite įdiegti atskirai.

Išvada

Šioje pamokoje mes įdiegėme Elastic Stack su X-Pack Ubuntu 17.04. Dabar jūsų serveryje įdiegtas pagrindinis ELK Stack.