Az Elastic Stack (Elasticsearch, Logstash és Kibana) telepítése és konfigurálása az Ubuntu 17.04 rendszeren

Ahogy az IT-infrastruktúra a felhőre költözik, és a Dolgok Internete egyre népszerűbb, a szervezetek és az informatikai szakemberek egyre nagyobb mértékben veszik igénybe a nyilvános felhőszolgáltatásokat. A kiszolgálók és a rajtuk futó szolgáltatások növekedésével a rendszer által generált naplók száma is növekszik. Ezeknek a naplóknak az elemzése több okból is nagyon fontos az infrastruktúrában. Ez magában foglalja a biztonsági szabályzatoknak és előírásoknak való megfelelést, a rendszer hibaelhárítását, a biztonsággal kapcsolatos eseményekre való reagálást vagy a felhasználói viselkedés megértését.

Három nagyon népszerű nyílt forráskódú alkalmazás, az Elasticsearch, a Logstash és a Kibana, kombinálva létrehozza az Elastic Stacket vagy az ELK Stacket. Az Elastic Stack egy nagyon hatékony eszköz a naplók és adatok kereséséhez, elemzéséhez és megjelenítéséhez. Az Elasticsearch egy elosztott, valós idejű, méretezhető és magasan elérhető alkalmazás a naplók tárolására és keresésre. A Logstash összegyűjti a Beats által küldött naplókat, feljavítja, majd elküldi az Elasticsearch-nek. A Kibana a naplók és a használható betekintések megjelenítésére szolgáló webes felhasználói felület.

Ebben az oktatóanyagban az Elasticsearch, a Logstash és a Kibana legújabb verzióját telepítjük az X-Pack segítségével az Ubuntu 17.04-re.

Előfeltételek

Az oktatóanyag követéséhez egy Vultr 64 bites Ubuntu 17.04 szerverpéldányra lesz szüksége legalább 4 GB RAM-mal . Éles környezetben a hardverkövetelmények a felhasználók és a naplók számának növekedésével nőnek.

Ez az oktatóanyag sudofelhasználói szemszögből készült. A sudo felhasználó beállításához kövesse a Sudo használata a Debianon útmutatót.

A Let's Encrypt CA tanúsítványainak beszerzéséhez a szerver felé mutató tartományra is szüksége lesz.

1. lépés: Végezzen rendszerfrissítést

Mielőtt bármilyen csomagot telepítene az Ubuntu kiszolgálópéldányra, ajánlatos frissíteni a rendszert. Jelentkezzen be a sudo felhasználóval, és futtassa a következő parancsokat a rendszer frissítéséhez.

sudo apt update
sudo apt -y upgrade

Ha a rendszer frissítése befejeződött, folytassa a következő lépéssel.

2. lépés: Telepítse a Java-t

Az Elasticsearch működéséhez Java 8 szükséges. Támogatja az Oracle Java-t és az OpenJDK-t is. Az oktatóanyag ezen része az Oracle Java és az OpenJDK telepítését mutatja be.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Oracle Java telepítése

Az Oracle Java Ubuntu rendszerére való telepítéséhez hozzá kell adnia az Oracle Java PPA-t a következő futtatással:

sudo add-apt-repository ppa:webupd8team/java

Most frissítse a lerakat adatait a következő futtatásával:

sudo apt update

Mostantól egyszerűen telepítheti a Java 8 legújabb stabil verzióját a következő futtatással:

sudo apt -y install oracle-java8-installer

Amikor a rendszer kéri, fogadja el a licencszerződést. A telepítés befejeztével ellenőrizheti a Java verziót a következő futtatással:

java -version

A kimenethez hasonlónak kell lennie:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

A JAVA_HOMEtelepítéssel beállíthatja a és egyéb alapértelmezett értékeket is oracle-java8-set-default. Fuss:

sudo apt -y install oracle-java8-set-default

A következő JAVA_HOMEfuttatásával ellenőrizheti, hogy a változó be van-e állítva:

echo "$JAVA_HOME"

A kimenetnek hasonlónak kell lennie:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ha nem kapja meg a fent látható kimenetet, előfordulhat, hogy ki kell jelentkeznie, és újra be kell jelentkeznie a rendszerhéjba. Az Oracle Java most telepítve van a szerverére. Most folytathatja az oktatóanyag 3. lépését, kihagyva az OpenJDK telepítését.

OpenJDK telepítése

Az OpenJDK telepítése meglehetősen egyszerű. Egyszerűen futtassa a következő parancsot az OpenJDK telepítéséhez.

sudo apt -y install default-jdk

A telepítés befejeztével ellenőrizheti a Java verziót a következő futtatással:

java -version

A kimenethez hasonlónak kell lennie:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

A JAVA_HOMEváltozó beállításához futtassa a következő parancsot:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Töltse be újra a környezetfájlt a következő futtatásával:

sudo source /etc/environment

A következő JAVA_HOMEfuttatásával ellenőrizheti, hogy a változó be van-e állítva:

echo "$JAVA_HOME"

A kimenetnek hasonlónak kell lennie:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

3. lépés: Telepítse az Elasticsearch programot

Az Elasticsearch egy szupergyors, elosztott, magasan elérhető, RESTful keresőmotor. Adja hozzá az Elasticsearch APT tárat a következő futtatásával:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

A fenti parancs egy új lerakatfájlt hoz létre az Elasticsearch számára, és hozzáadja a forrásbejegyzést. Most importálja a csomagok aláírásához használt PGP-kulcsot.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Frissítse az APT lerakat metaadatait a következő futtatásával:

sudo apt update

Telepítse az Elasticsearch programot a következő parancs futtatásával.

sudo apt -y install elasticsearch

A fenti parancs az Elasticsearch legújabb verzióját telepíti a rendszerére. Az Elasticsearch telepítése után töltse be újra a Systemd szolgáltatás démont a következő futtatásával:

sudo systemctl daemon-reload

Indítsa el az Elasticsearch programot, és engedélyezze, hogy rendszerindításkor automatikusan elinduljon.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Az Elasticsearch leállításához futtassa:

sudo systemctl stop elasticsearch

A szolgáltatás állapotának ellenőrzéséhez futtassa:

sudo systemctl status elasticsearch

Az Elasticsearch jelenleg a porton fut 9200. A következő parancs futtatásával ellenőrizheti, hogy működik-e és hoz-e eredményt.

curl -XGET 'localhost:9200/?pretty'

A következőhöz hasonló üzenet kerül kinyomtatásra.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Telepítse az X-Pack for Elasticsearch alkalmazást

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

A Let's Encrypt tanúsítványok 90 napon belül lejárnak, ezért ajánlott a tanúsítványok automatikus megújítását beállítani a cronjobs használatával. A Cron egy rendszerszolgáltatás, amelyet időszakos feladatok futtatására használnak.

Nyissa meg a cron feladatfájlt a következő futtatással:

sudo crontab -e

Adja hozzá a következő sort a fájl végéhez.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

A fenti cron-feladat minden hétfőn 5:30-kor indul. Ha a tanúsítvány lejár, automatikusan megújítja azokat.

Szerkessze az Nginx alapértelmezett virtuális gazdagépfájlját a következő parancs futtatásával.

sudo nano /etc/nginx/sites-available/default

Cserélje ki a meglévő tartalmat a következő tartalommal.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Ügyeljen arra, hogy frissítse kibana.example.coma tényleges domain nevét, valamint ellenőrizze az SSL-tanúsítvány és a privát kulcs elérési útját.

Indítsa újra az Nginx webszervert a következő futtatásával:

sudo systemctl restart nginx

Ha mindent megfelelően konfigurált, megjelenik a Kibana bejelentkezési képernyője. Jelentkezzen be a kibanabeállított felhasználónévvel és jelszóval. Sikeresen be kell jelentkeznie, és látnia kell a Kibana irányítópultját. Egyelőre hagyja a műszerfalat, később konfiguráljuk.

Telepítse a Logstash-t

A Logstash a hivatalos Elasticsearch adattáron keresztül is telepíthető, amelyet korábban hozzáadtunk. A Logstash telepítése a következő futtatással:

sudo apt -y install logstash

A fenti parancs a Logstash legújabb verzióját telepíti a rendszerére. A Logstash telepítése után töltse be újra a Systemd szolgáltatás démont a következő futtatásával:

sudo systemctl daemon-reload

Indítsa el a Logstash-t, és engedélyezze, hogy rendszerindításkor automatikusan elinduljon.

sudo systemctl enable logstash
sudo systemctl start logstash

Telepítse az X-Pack for Logstash alkalmazást

Az X-Pack for Logstash közvetlenül telepíthető a következő futtatásával:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

Az X-Pack for Logstash alapértelmezett felhasználóval érkezik logstash_system. A jelszót a következő futtatással állíthatja vissza:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Cserélje 192.168.0.1ki a szerver tényleges privát IP-címét és NewLogstashPassworda Logstash felhasználó új jelszavát.

Most indítsa újra a Logstash szolgáltatást a következő futtatásával:

sudo systemctl restart logstash

Szerkessze a Logstash konfigurációs fájlt a következő futtatásával:

sudo nano /etc/logstash/logstash.yml

Adja hozzá a következő sorokat a fájl végéhez a Logstash-példány figyelésének engedélyezéséhez.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Cserélje ki az Elasticsearch URL-t és a Logstash jelszót a beállításoknak megfelelően.

Most már beállíthatja a Logstash-t, hogy különböző ütemekkel fogadja az adatokat. Többféle ütem létezik: Packetbeat, Metricbeat, Filebeat, Winlogbeat és Heartbeat. Minden ütemet külön kell telepítenie.

Következtetés

Ebben az oktatóanyagban telepítettük az Elastic Stack with X-Pack csomagot az Ubuntu 17.04-re. Az alap ELK Stack most már telepítve van a szerverére.