Si të instaloni dhe konfiguroni Elastic Stack (Elasticsearch, Logstash dhe Kibana) në Ubuntu 17.04

Ndërsa infrastruktura e TI po kalon në renë kompjuterike dhe Interneti i Gjërave po bëhet popullor, organizatat dhe profesionistët e TI-së po përdorin në një masë më të madhe shërbimet publike cloud. Ndërsa serverët dhe shërbimet që funksionojnë në to po rriten, sasia e regjistrave të gjeneruar nga sistemi po rritet gjithashtu. Analiza e këtyre regjistrave është shumë e rëndësishme në një infrastrukturë për disa arsye. Kjo përfshin pajtueshmërinë me politikat dhe rregulloret e sigurisë, zgjidhjen e problemeve të sistemit, përgjigjen ndaj një incidenti të lidhur me sigurinë ose për të kuptuar sjelljen e përdoruesit.

Tre aplikacione shumë të njohura me burim të hapur të quajtur Elasticsearch, Logstash dhe Kibana kombinohen së bashku për të krijuar Elastic Stack ose ELK Stack. Elastic Stack është një mjet shumë i fuqishëm për kërkimin, analizimin dhe vizualizimin e regjistrave dhe të dhënave. Elasticsearch është një aplikacion i shpërndarë, në kohë reale, i shkallëzuar dhe shumë i disponueshëm për të ruajtur regjistrat dhe për të kërkuar nëpër to. Logstash mbledh regjistrat e dërguar nga Beats, i përmirëson ato dhe më pas i dërgon te Elasticsearch. Kibana është ndërfaqja e internetit e përdorur për të vizualizuar regjistrat dhe njohuritë e zbatueshme.

Në këtë tutorial, ne do të instalojmë versionin më të fundit të Elasticsearch, Logstash dhe Kibana me X-Pack në Ubuntu 17.04.

Parakushtet

Për të ndjekur këtë tutorial, do t'ju duhet një shembull i serverit Vultr 64-bit Ubuntu 17.04 me të paktën 4 GB RAM . Për një mjedis prodhimi, kërkesat e harduerit rriten me numrin e përdoruesve dhe regjistrave.

Ky tutorial është shkruar nga sudokëndvështrimi i përdoruesit. Për të konfiguruar një përdorues sudo, ndiqni udhëzuesin Si të përdorni Sudo në Debian .

Do t'ju duhet gjithashtu një domen i drejtuar drejt serverit tuaj për të marrë certifikata nga Let's Encrypt CA.

Hapi 1: Kryeni një përditësim të sistemit

Përpara se të instaloni ndonjë paketë në shembullin e serverit Ubuntu, rekomandohet të përditësoni sistemin. Hyni duke përdorur përdoruesin sudo dhe ekzekutoni komandat e mëposhtme për të përditësuar sistemin.

sudo apt update
sudo apt -y upgrade

Pasi sistemi të ketë përfunduar përmirësimin, vazhdoni në hapin tjetër.

Hapi 2: Instaloni Java

Elasticsearch kërkon Java 8 që të funksionojë. Ai mbështet Oracle Java dhe OpenJDK. Ky seksion i tutorialit demonstron instalimin e Oracle Java dhe OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Instalimi i Oracle Java

Për të instaluar Oracle Java në sistemin tuaj Ubuntu, do t'ju duhet të shtoni Oracle Java PPA duke ekzekutuar:

sudo add-apt-repository ppa:webupd8team/java

Tani përditësoni informacionin e depove duke ekzekutuar:

sudo apt update

Tani mund të instaloni me lehtësi versionin më të fundit të qëndrueshëm të Java 8 duke ekzekutuar:

sudo apt -y install oracle-java8-installer

Prano marrëveshjen e licencës kur të kërkohet. Pasi të përfundojë instalimi, mund të verifikoni versionin Java duke ekzekutuar:

java -version

Ju duhet të shihni dalje të ngjashme me:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Ju gjithashtu mund të vendosni JAVA_HOMEparazgjedhjet dhe të tjera duke instaluar oracle-java8-set-default. Vraponi:

sudo apt -y install oracle-java8-set-default

Tani mund të verifikoni nëse JAVA_HOMEndryshorja është vendosur duke ekzekutuar:

echo "$JAVA_HOME"

Prodhimi duhet të ngjajë:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Nëse nuk e merrni rezultatin e treguar më sipër, mund t'ju duhet të dilni dhe të identifikoheni përsëri në shell. Oracle Java është instaluar tani në serverin tuaj. Tani mund të vazhdoni në hapin 3 të instalimit të kapërcimit të tutorialit të OpenJDK.

Instalimi i OpenJDK

Instalimi i OpenJDK është mjaft i thjeshtë. Thjesht ekzekutoni komandën e mëposhtme për të instaluar OpenJDK.

sudo apt -y install default-jdk

Pasi të përfundojë instalimi, mund të verifikoni versionin Java duke ekzekutuar:

java -version

Ju duhet të shihni dalje të ngjashme me:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Për të vendosur JAVA_HOMEvariablin, ekzekutoni komandën e mëposhtme:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Rifresko skedarin e mjedisit duke ekzekutuar:

sudo source /etc/environment

Tani mund të verifikoni nëse JAVA_HOMEndryshorja është vendosur duke ekzekutuar:

echo "$JAVA_HOME"

Prodhimi duhet të ngjajë:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Hapi 3: Instaloni Elasticsearch

Elasticsearch është një motor kërkimi shumë i shpejtë, i shpërndarë, shumë i disponueshëm, RESTful. Shtoni depon e Elasticsearch APT duke ekzekutuar:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Komanda e mësipërme krijon një skedar të ri depoje për Elasticsearch dhe shton hyrjen e burimit në të. Tani importoni çelësin PGP të përdorur për të nënshkruar paketat.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Përditësoni të dhënat meta të depove APT duke ekzekutuar:

sudo apt update

Instaloni Elasticsearch duke ekzekutuar komandën e mëposhtme.

sudo apt -y install elasticsearch

Komanda e mësipërme do të instalojë versionin më të fundit të Elasticsearch në sistemin tuaj. Pasi të jetë instaluar Elasticsearch, ringarkoni demonin e shërbimit Systemd duke ekzekutuar:

sudo systemctl daemon-reload

Nisni Elasticsearch dhe aktivizoni që të fillojë automatikisht në kohën e nisjes.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Për të ndaluar Elasticsearch, mund të ekzekutoni:

sudo systemctl stop elasticsearch

Për të kontrolluar statusin e shërbimit, mund të ekzekutoni:

sudo systemctl status elasticsearch

Elasticsearch tani po funksionon në port 9200. Mund të verifikoni nëse po funksionon dhe po prodhon rezultate duke ekzekutuar komandën e mëposhtme.

curl -XGET 'localhost:9200/?pretty'

Një mesazh i ngjashëm me atë të mëposhtëm do të shtypet.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Instaloni X-Pack për Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Certifikatat Let's Encrypt do të skadojnë pas 90 ditësh, prandaj rekomandohet të konfiguroni rinovimin automatik për certifikatat duke përdorur cronjobs. Cron është një shërbim sistemi që përdoret për të ekzekutuar detyra periodike.

Hapni skedarin e punës cron duke ekzekutuar:

sudo crontab -e

Shtoni rreshtin e mëposhtëm në fund të skedarit.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Puna e mësipërme do të funksionojë çdo të hënë në orën 5:30 të mëngjesit. Nëse certifikata duhet të skadojë, ajo do t'i rinovojë ato automatikisht.

Ndryshoni skedarin e paracaktuar të hostit virtual për Nginx duke ekzekutuar komandën e mëposhtme.

sudo nano /etc/nginx/sites-available/default

Zëvendësoni përmbajtjen ekzistuese me përmbajtjen e mëposhtme.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Sigurohuni që të përditësoni kibana.example.comme emrin tuaj aktual të domenit, gjithashtu verifikoni rrugën drejt certifikatës SSL dhe çelësit privat.

Rinisni serverin në internet Nginx duke ekzekutuar:

sudo systemctl restart nginx

Nëse gjithçka është konfiguruar saktë, do të shihni ekranin e hyrjes në Kibana. Hyni duke përdorur emrin e përdoruesit kibanadhe fjalëkalimin që keni vendosur. Ju duhet të jeni në gjendje të identifikoheni me sukses dhe të shihni pultin e Kibana. Lëreni pultin, tani për tani, do ta konfigurojmë më vonë.

Instaloni Logstash

Logstash mund të instalohet gjithashtu përmes magazinës zyrtare të Elasticsearch të cilën e shtuam më herët. Instaloni Logstash duke ekzekutuar:

sudo apt -y install logstash

Komanda e mësipërme do të instalojë versionin më të fundit të Logstash në sistemin tuaj. Pasi të jetë instaluar Logstash, ringarkoni demonin e shërbimit Systemd duke ekzekutuar:

sudo systemctl daemon-reload

Nisni Logstash dhe aktivizoni që të fillojë automatikisht në kohën e nisjes.

sudo systemctl enable logstash
sudo systemctl start logstash

Instaloni X-Pack për Logstash

Ju mund të instaloni X-Pack për Logstash drejtpërdrejt duke ekzekutuar:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack për Logstash vjen me një përdorues të paracaktuar logstash_system. Mund ta rivendosni fjalëkalimin duke ekzekutuar:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Zëvendësojeni 192.168.0.1me adresën aktuale IP private të serverit dhe NewLogstashPasswordme fjalëkalimin e ri për përdoruesin e Logstash.

Tani rinisni shërbimin Logstash duke ekzekutuar:

sudo systemctl restart logstash

Ndryshoni skedarin e konfigurimit Logstash duke ekzekutuar:

sudo nano /etc/logstash/logstash.yml

Shtoni rreshtat e mëposhtëm në fund të skedarit për të mundësuar monitorimin e shembullit Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Zëvendësoni URL-në e Elasticsearch dhe fjalëkalimin Logstash sipas konfigurimit tuaj.

Tani mund të konfiguroni Logstash për të marrë të dhëna duke përdorur Beats të ndryshëm. Ekzistojnë disa lloje të Beats në dispozicion: Packetbeat, Metricbeat, Filebeat, Winlogbeat dhe Heartbeat. Ju do të duhet të instaloni çdo Beat veç e veç.

konkluzioni

Në këtë tutorial, ne kemi instaluar Elastic Stack me X-Pack në Ubuntu 17.04. Një Stack bazë ELK tani është instaluar në serverin tuaj.