Kako namestiti in konfigurirati Elastic Stack (Elasticsearch, Logstash in Kibana) na Ubuntu 17.04

Ker se IT infrastruktura seli v oblak in internet stvari postaja vse bolj priljubljen, organizacije in IT strokovnjaki v večji meri uporabljajo javne storitve v oblaku. Ker se strežniki in storitve, ki se izvajajo na njih, povečujejo, se povečuje tudi količina sistemskih dnevnikov. Analiza teh dnevnikov je v infrastrukturi zelo pomembna iz več razlogov. To vključuje skladnost z varnostnimi politikami in predpisi, odpravljanje težav s sistemom, odzivanje na incident, povezan z varnostjo, ali razumevanje vedenja uporabnikov.

Tri zelo priljubljene odprtokodne aplikacije, imenovane Elasticsearch, Logstash in Kibana, se združijo in ustvarijo Elastic Stack ali ELK Stack. Elastic Stack je zelo zmogljivo orodje za iskanje, analizo in vizualizacijo dnevnikov in podatkov. Elasticsearch je porazdeljena, v realnem času, razširljiva in zelo razpoložljiva aplikacija za shranjevanje dnevnikov in iskanje po njih. Logstash zbere dnevnike, ki jih pošlje Beats, jih izboljša in nato pošlje Elasticsearch. Kibana je spletni uporabniški vmesnik, ki se uporablja za vizualizacijo dnevnikov in uporabnih vpogledov.

V tej vadnici bomo namestili najnovejšo različico Elasticsearch, Logstash in Kibana z X-Packom na Ubuntu 17.04.

Predpogoji

Če želite slediti tej vadnici, boste potrebovali 64-bitni primerek strežnika Vultr Ubuntu 17.04 z vsaj 4 GB RAM-a . Za produkcijsko okolje se zahteve po strojni opremi povečujejo s številom uporabnikov in dnevnikov.

Ta vadnica je napisana z sudovidika uporabnika. Če želite nastaviti uporabnika sudo, sledite priročniku Kako uporabljati Sudo v Debianu .

Potrebovali boste tudi domeno, usmerjeno proti vašemu strežniku, da boste pridobili potrdila od Let's Encrypt CA.

1. korak: Izvedite posodobitev sistema

Pred namestitvijo kakršnih koli paketov na primerek strežnika Ubuntu je priporočljivo posodobiti sistem. Prijavite se z uporabnikom sudo in zaženite naslednje ukaze za posodobitev sistema.

sudo apt update
sudo apt -y upgrade

Ko je sistem končan z nadgradnjo, nadaljujte z naslednjim korakom.

2. korak: Namestite Javo

Elasticsearch za delovanje zahteva Java 8. Podpira tako Oracle Java kot OpenJDK. Ta razdelek vadnice prikazuje namestitev tako Oracle Java kot OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Namestitev Oracle Java

Če želite namestiti Oracle Java v vaš sistem Ubuntu, boste morali dodati Oracle Java PPA tako, da zaženete:

sudo add-apt-repository ppa:webupd8team/java

Zdaj posodobite informacije o skladišču tako, da zaženete:

sudo apt update

Zdaj lahko preprosto namestite najnovejšo stabilno različico Jave 8, tako da zaženete:

sudo apt -y install oracle-java8-installer

Ob pozivu sprejmite licenčno pogodbo. Ko je namestitev končana, lahko preverite različico Jave tako, da zaženete:

java -version

Videti bi morali izhod, podoben:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Z namestitvijo lahko nastavite tudi JAVA_HOMEdruge privzete vrednosti oracle-java8-set-default. teci:

sudo apt -y install oracle-java8-set-default

Zdaj lahko preverite, ali je JAVA_HOMEspremenljivka nastavljena, tako da zaženete:

echo "$JAVA_HOME"

Izhod bi moral biti podoben:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Če ne dobite zgoraj prikazanega rezultata, se boste morda morali odjaviti in znova prijaviti v lupino. Oracle Java je zdaj nameščena na vašem strežniku. Zdaj lahko nadaljujete na 3. korak vadnice, ki preskoči namestitev OpenJDK.

Namestitev OpenJDK

Namestitev OpenJDK je precej enostavna. Za namestitev OpenJDK preprosto zaženite naslednji ukaz.

sudo apt -y install default-jdk

Ko je namestitev končana, lahko preverite različico Jave tako, da zaženete:

java -version

Videti bi morali izhod, podoben:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Če želite nastaviti JAVA_HOMEspremenljivko, zaženite naslednji ukaz:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Znova naložite okoljsko datoteko tako, da zaženete:

sudo source /etc/environment

Zdaj lahko preverite, ali je JAVA_HOMEspremenljivka nastavljena, tako da zaženete:

echo "$JAVA_HOME"

Izhod bi moral biti podoben:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3. korak: Namestite Elasticsearch

Elasticsearch je super hiter, porazdeljen, zelo dostopen iskalnik RESTful. Dodajte skladišče Elasticsearch APT tako, da zaženete:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Zgornji ukaz ustvari novo datoteko repozitorija za Elasticsearch in vanjo doda izvorni vnos. Zdaj uvozite ključ PGP, ki se uporablja za podpisovanje paketov.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Posodobite metapodatke skladišča APT tako, da zaženete:

sudo apt update

Namestite Elasticsearch tako, da zaženete naslednji ukaz.

sudo apt -y install elasticsearch

Zgornji ukaz bo na vaš sistem namestil najnovejšo različico Elasticsearch. Ko je Elasticsearch nameščen, znova naložite demon storitev Systemd tako, da zaženete:

sudo systemctl daemon-reload

Zaženite Elasticsearch in omogočite, da se samodejno zažene ob zagonu.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Če želite ustaviti Elasticsearch, lahko zaženete:

sudo systemctl stop elasticsearch

Če želite preveriti stanje storitve, lahko zaženete:

sudo systemctl status elasticsearch

Elasticsearch zdaj deluje na vratih 9200. Lahko preverite, ali deluje in daje rezultate, tako da zaženete naslednji ukaz.

curl -XGET 'localhost:9200/?pretty'

Natisnjeno bo sporočilo, podobno naslednjemu.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Namestite X-Pack za Elasticsearch

X-Pack je vtičnik Elastic Stack, ki ponuja številne dodatne funkcije, kot so varnost, opozarjanje, spremljanje, poročanje in zmogljivosti grafov. X-Pack omogoča tudi preverjanje pristnosti uporabnikov za Elasticsearch in Kibana ter spremljanje različnih vozlišč v Kibani. Pomembno je, da sta X-Pack in Elasticsearch nameščena z isto različico.

X-Pack za Elasticsearch lahko namestite neposredno tako, da zaženete:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

Če želite nadaljevati namestitev, vnesite, yko ste pozvani. Ta ukaz bo namestil vtičnik X-Pack v vaš sistem. Ko je nameščen, X-Pack omogoči preverjanje pristnosti za Elasticsearch. Privzeto uporabniško ime je elasticin geslo je changeme. Lahko preverite, ali je preverjanje pristnosti omogočeno, tako da zaženete isti ukaz, ki ste ga zagnali, da preverite, ali Elasticsearch deluje.

curl -XGET 'localhost:9200/?pretty'

Zdaj bo izhod povedal, da preverjanje pristnosti ni uspelo.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Spremenite privzeto geslo changemetako, da zaženete naslednji ukaz.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Zamenjajte NewPasswordz dejanskim geslom, ki ga želite uporabiti. Če je novo geslo nastavljeno in ali Elasticsearch deluje, lahko preverite tako, da zaženete naslednji ukaz.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Videli boste izhod, ki prikazuje uspešno izvedbo poizvedbe.

Nadalje uredite konfiguracijsko datoteko Elasticsearch tako, da zaženete:

sudo nano /etc/elasticsearch/elasticsearch.yml

Poiščite naslednje vrstice, odstranite komentarje in jih spremenite v skladu z navodili.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

Za network.host, navedite zasebni naslov IP, dodeljen sistemu. Znova zaženite primerek Elasticsearch tako, da zaženete:

sudo systemctl restart elasticsearch

Zdaj boste namesto localhost, morali uporabiti naslov IP za zagon poizvedbe z uporabo curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Razkomentirajte zgornje vrstice in elasticsearch.urlnavedite URL za primerek Elasticsearch. Naslov IP mora biti enak IP, kot je bil uporabljen v elasticsearch.yml. Nadalje nastavite uporabniško ime od userdo elasticin navedite tudi geslo elastičnega uporabnika, ki ste ga nastavili prej.

Znova zaženite primerek Kibana tako, da zaženete:

sudo systemctl restart kibana

Namestite Nginx kot povratni proxy za Kibana

Ker izvajamo Kibana localhostna pristaniščih 5601, je priporočljivo, da nastavite povratni proxy z Apache ali Nginx za dostop do Kibane zunaj lokalnega omrežja. V tej vadnici bomo Nginx nastavili kot povratni proxy za Kibana. Prav tako bomo primerek Nginx zavarovali z brezplačnim SSL certifikatom Let's Encrypt.

Namestite Nginx tako, da zaženete:

sudo apt -y install nginx

Zaženite in omogočite Nginx, da se samodejno zažene ob zagonu.

sudo systemctl start nginx
sudo systemctl enable nginx

Zdaj, ko je spletni strežnik Nginx nameščen in deluje, lahko nadaljujemo z namestitvijo Certbota, ki je uradni in samodejni odjemalec certifikatov Let's Encrypt. Dodajte Certbot PPA v svoj sistem tako, da zaženete:

sudo add-apt-repository ppa:certbot/certbot

Posodobite meta informacije o skladišču.

sudo apt update

Zdaj lahko preprosto namestite najnovejšo različico Certbota, tako da zaženete:

sudo apt -y install python-certbot-nginx 

Prejšnji ukaz bo razrešil in namestil zahtevane odvisnosti skupaj s paketom Certbot.

Zdaj, ko imamo nameščen Certbot, ustvarite potrdila za vašo domeno tako, da zaženete:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Ne pozabite spremeniti kibana.example.coms svojim dejanskim imenom domene. Prejšnji ukaz bo uporabil odjemalca Certbot. certonlyParameter pove stranko Certbot ustvariti le potrdila. Z uporabo te možnosti zagotovite, da se potrdila ne namestijo samodejno in da se konfiguracija Nginxa ni spremenila. Preverjanje se izvede tako, da se izzivne datoteke postavijo v določen webrootimenik.

Certbot vas bo prosil, da navedete svoj e-poštni naslov za pošiljanje obvestila o podaljšanju. Prav tako boste morali sprejeti licenčno pogodbo.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Ustvarjena potrdila bodo verjetno shranjena v /etc/letsencrypt/live/kibana.example.com/imeniku. Potrdilo SSL bo shranjeno kot, fullchain.pemzasebni ključ pa kot privkey.pem.

Potrdila Let's Encrypt potečejo v 90 dneh, zato je priporočljivo, da nastavite samodejno obnovo potrdil s pomočjo cronjobs. Cron je sistemska storitev, ki se uporablja za izvajanje občasnih opravil.

Odprite datoteko opravila cron tako, da zaženete:

sudo crontab -e

Dodajte naslednjo vrstico na konec datoteke.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Zgornje opravilo cron se bo izvajalo vsak ponedeljek ob 5.30. Če potrdilo poteče, ga bo samodejno podaljšalo.

Uredite privzeto datoteko navideznega gostitelja za Nginx tako, da zaženete naslednji ukaz.

sudo nano /etc/nginx/sites-available/default

Zamenjajte obstoječo vsebino z naslednjo vsebino.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Poskrbite, da boste posodobili kibana.example.coms svojim dejanskim imenom domene, preverite tudi pot do certifikata SSL in zasebnega ključa.

Znova zaženite spletni strežnik Nginx tako, da zaženete:

sudo systemctl restart nginx

Če je bilo vse pravilno konfigurirano, boste videli prijavni zaslon Kibana. Prijavite se z uporabniškim imenom kibanain geslom, ki ste ju nastavili. Morali bi se uspešno prijaviti in videti nadzorno ploščo Kibana. Zapustite nadzorno ploščo, za zdaj jo bomo konfigurirali pozneje.

Namesti Logstash

Logstash je mogoče namestiti tudi prek uradnega repozitorija Elasticsearch, ki smo ga dodali prej. Namestite Logstash tako, da zaženete:

sudo apt -y install logstash

Zgornji ukaz bo na vaš sistem namestil najnovejšo različico Logstasha. Ko je Logstash nameščen, znova naložite demon storitev Systemd tako, da zaženete:

sudo systemctl daemon-reload

Zaženite Logstash in omogočite, da se samodejno zažene ob zagonu.

sudo systemctl enable logstash
sudo systemctl start logstash

Namestite X-Pack za Logstash

X-Pack za Logstash lahko namestite neposredno tako, da zaženete:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack za Logstash ima privzetega uporabnika logstash_system. Geslo lahko ponastavite tako, da zaženete:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Zamenjajte 192.168.0.1z dejanskim zasebnim naslovom IP strežnika in NewLogstashPasswordz novim geslom za uporabnika Logstash.

Zdaj znova zaženite storitev Logstash tako, da zaženete:

sudo systemctl restart logstash

Uredite konfiguracijsko datoteko Logstash tako, da zaženete:

sudo nano /etc/logstash/logstash.yml

Dodajte naslednje vrstice na konec datoteke, da omogočite spremljanje primerka Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Zamenjajte URL Elasticsearch in geslo Logstash glede na vaše nastavitve.

Zdaj lahko konfigurirate Logstash za prejemanje podatkov z različnimi Beats. Na voljo je več vrst Beats: Packetbeat, Metricbeat, Filebeat, Winlogbeat in Heartbeat. Vsak Beat boste morali namestiti posebej.

Zaključek

V tej vadnici smo namestili Elastic Stack z X-Packom na Ubuntu 17.04. Osnovni ELK Stack je zdaj nameščen na vašem strežniku.