Elastic Stacki (Elasticsearch, Logstash ja Kibana) installimine ja konfigureerimine Ubuntu 17.04-s

Kuna IT-infrastruktuur liigub pilve ja asjade internet on muutumas populaarseks, kasutavad organisatsioonid ja IT-spetsialistid senisest enam avalikke pilveteenuseid. Kuna serverid ja neis töötavad teenused suurenevad, suureneb ka süsteemi loodud logide arv. Nende logide analüüs on infrastruktuuris mitmel põhjusel väga oluline. See hõlmab turvapoliitikate ja -eeskirjade järgimist, süsteemi tõrkeotsingut, turvalisusega seotud intsidendile reageerimist või kasutaja käitumise mõistmist.

Kolm väga populaarset avatud lähtekoodiga rakendust nimega Elasticsearch, Logstash ja Kibana ühendavad kokku, et luua Elastic Stack või ELK Stack. Elastic Stack on väga võimas tööriist logide ja andmete otsimiseks, analüüsimiseks ja visualiseerimiseks. Elasticsearch on hajutatud, reaalajas skaleeritav ja väga kättesaadav rakendus logide salvestamiseks ja nende kaudu otsimiseks. Logstash kogub kokku Beatsi saadetud logid, täiustab neid ja saadab seejärel Elasticsearchile. Kibana on veebi kasutajaliides, mida kasutatakse logide ja kasutatavate ülevaadete visualiseerimiseks.

Selles õpetuses installime Ubuntu 17.04-le Elasticsearchi, Logstashi ja Kibana uusima versiooni koos X-Packiga.

Eeltingimused

Selle õpetuse järgimiseks vajate Vultr 64-bitist Ubuntu 17.04 serveri eksemplari, millel on vähemalt 4 GB muutmälu . Tootmiskeskkonna jaoks suurenevad riistvaranõuded kasutajate ja logide arvuga.

See õpetus on kirjutatud sudokasutaja vaatenurgast. Sudo kasutaja seadistamiseks järgige juhendit Sudo kasutamine Debianis .

Teenuse Let's Encrypt CA sertifikaatide saamiseks vajate ka domeeni, mis on suunatud teie serverile.

1. toiming: viige läbi süsteemi värskendus

Enne mis tahes pakettide installimist Ubuntu serveri eksemplarile on soovitatav süsteemi värskendada. Logige sisse sudo kasutajaga ja käivitage süsteemi värskendamiseks järgmised käsud.

sudo apt update
sudo apt -y upgrade

Kui süsteem on uuendamise lõpetanud, jätkake järgmise sammuga.

2. samm: installige Java

Elasticsearch vajab töötamiseks Java 8. See toetab nii Oracle Java kui ka OpenJDK. See õpetuse jaotis näitab nii Oracle Java kui ka OpenJDK installimist.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Oracle Java installimine

Oracle Java installimiseks oma Ubuntu süsteemi peate lisama Oracle Java PPA, käivitades:

sudo add-apt-repository ppa:webupd8team/java

Nüüd värskendage hoidla teavet, käivitades:

sudo apt update

Nüüd saate hõlpsasti installida Java 8 uusima stabiilse versiooni, käivitades:

sudo apt -y install oracle-java8-installer

Nõustuge litsentsilepinguga, kui seda küsitakse. Kui installimine on lõppenud, saate Java versiooni kontrollida, käivitades:

java -version

Peaksite nägema sarnast väljundit:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

JAVA_HOMEInstallides saate määrata ka ja muud vaikeseaded oracle-java8-set-default. Jookse:

sudo apt -y install oracle-java8-set-default

Nüüd saate kontrollida, kas JAVA_HOMEmuutuja on määratud, käivitades:

echo "$JAVA_HOME"

Väljund peaks sarnanema:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Kui te ülaltoodud väljundit ei saa, peate võib-olla välja logima ja uuesti kesta sisse logima. Oracle Java on nüüd teie serverisse installitud. Nüüd saate jätkata OpenJDK installimise vahelejätmise õpetuse 3. sammuga.

OpenJDK installimine

OpenJDK installimine on üsna lihtne. OpenJDK installimiseks käivitage lihtsalt järgmine käsk.

sudo apt -y install default-jdk

Kui installimine on lõppenud, saate Java versiooni kontrollida, käivitades:

java -version

Peaksite nägema sarnast väljundit:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Et määrata JAVA_HOMEmuutuja, käivitage järgmine käsk:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Laadige keskkonnafail uuesti, käivitades:

sudo source /etc/environment

Nüüd saate kontrollida, kas JAVA_HOMEmuutuja on määratud, käivitades:

echo "$JAVA_HOME"

Väljund peaks sarnanema:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3. samm: installige Elasticsearch

Elasticsearch on ülikiire, hajutatud, väga kättesaadav ja RESTful otsingumootor. Lisage Elasticsearch APT hoidla, käivitades:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Ülaltoodud käsk loob Elasticsearchi jaoks uue hoidlafaili ja lisab sellesse lähtekirje. Nüüd importige pakettide allkirjastamiseks kasutatud PGP-võti.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Värskendage APT hoidla metaandmeid, käivitades:

sudo apt update

Installige Elasticsearch, käivitades järgmise käsu.

sudo apt -y install elasticsearch

Ülaltoodud käsk installib teie süsteemi Elasticsearchi uusima versiooni. Kui Elasticsearch on installitud, laadige Systemd teenuse deemon uuesti, käivitades:

sudo systemctl daemon-reload

Käivitage Elasticsearch ja lubage see alglaadimise ajal automaatselt käivituda.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Elasticsearchi peatamiseks võite käivitada:

sudo systemctl stop elasticsearch

Teenuse oleku kontrollimiseks võite käivitada:

sudo systemctl status elasticsearch

Elasticsearch töötab nüüd pordis 9200. Saate kontrollida, kas see töötab ja annab tulemusi, käivitades järgmise käsu.

curl -XGET 'localhost:9200/?pretty'

Prinditakse järgmisega sarnane teade.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installige X-Pack for Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Ärge unustage muuta kibana.example.comoma tegelikku domeeninime. Eelmine käsk kasutab Certboti klienti. certonlyParameetri ütleb Certbot kliendi genereerida sertifikaadid ainult. Selle suvandi kasutamine tagab, et sertifikaate ei installita automaatselt ja et Nginxi konfiguratsioon pole muutunud. Kontrollimiseks asetatakse väljakutsefailid määratud webrootkataloogi.

Certbot palub teil pikendamisteate saatmiseks sisestada oma e-posti aadress. Samuti peate nõustuma litsentsilepinguga.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Loodud sertifikaadid salvestatakse tõenäoliselt /etc/letsencrypt/live/kibana.example.com/kataloogi. SSL-sertifikaat salvestatakse kui fullchain.pemja privaatvõti salvestatakse kui privkey.pem.

Let's Encrypt sertifikaadid aeguvad 90 päeva pärast, seetõttu on soovitatav seadistada sertifikaatide automaatne uuendamine, kasutades cronjobs. Cron on süsteemiteenus, mida kasutatakse perioodiliste toimingute käitamiseks.

Avage cron tööfail, käivitades:

sudo crontab -e

Lisage faili lõppu järgmine rida.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Ülaltoodud cron-töö toimub igal esmaspäeval kell 5.30. Kui sertifikaat hakkab aeguma, uuendab see neid automaatselt.

Redigeerige Nginxi virtuaalse hosti vaikefaili, käivitades järgmise käsu.

sudo nano /etc/nginx/sites-available/default

Asendage olemasolev sisu järgmise sisuga.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Värskendage kindlasti kibana.example.comoma tegeliku domeeninimega, samuti kontrollige SSL-sertifikaadi ja privaatvõtme teed.

Taaskäivitage Nginxi veebiserver, käivitades:

sudo systemctl restart nginx

Kui kõik on õigesti konfigureeritud, näete Kibana sisselogimisekraani. Logige sisse, kasutades enda määratud kasutajanime kibanaja parooli. Peaksite edukalt sisse logima ja nägema Kibana armatuurlauda. Jätke armatuurlaud praegu, me konfigureerime selle hiljem.

Installige Logstash

Logstashi saab installida ka ametliku Elasticsearchi hoidla kaudu, mille me varem lisasime. Installige Logstash, käivitades:

sudo apt -y install logstash

Ülaltoodud käsk installib teie süsteemi Logstashi uusima versiooni. Kui Logstash on installitud, laadige Systemd teenuse deemon uuesti, käivitades:

sudo systemctl daemon-reload

Käivitage Logstash ja lubage see alglaadimise ajal automaatselt käivituda.

sudo systemctl enable logstash
sudo systemctl start logstash

Installige X-Pack for Logstash

Saate installida X-Pack for Logstash otse, käivitades:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash on varustatud vaikekasutajaga logstash_system. Saate parooli lähtestada, käivitades:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Asendage 192.168.0.1serveri tegeliku privaatse IP-aadressiga ja NewLogstashPasswordLogstashi kasutaja uue parooliga.

Nüüd taaskäivitage teenus Logstash, käivitades:

sudo systemctl restart logstash

Redigeerige Logstashi konfiguratsioonifaili, käivitades:

sudo nano /etc/logstash/logstash.yml

Logstashi eksemplari jälgimise võimaldamiseks lisage faili lõppu järgmised read.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Asendage Elasticsearchi URL ja Logstashi parool vastavalt oma seadistusele.

Nüüd saate konfigureerida Logstashi andmeid vastu võtma erinevate Beatside abil. Saadaval on mitut tüüpi lööke: Packetbeat, Metricbeat, Filebeat, Winlogbeat ja Heartbeat. Peate installima iga Beati eraldi.

Järeldus

Selles õpetuses oleme installinud Elastic Stacki koos X-Packiga Ubuntu 17.04-le. Põhiline ELK Stack on nüüd teie serverisse installitud.