Hvordan installere og konfigurere Elastic Stack (Elasticsearch, Logstash og Kibana) på Ubuntu 17.04

Ettersom IT-infrastrukturen flytter til skyen og tingenes internett blir populært, bruker organisasjoner og IT-fagfolk offentlige skytjenester i større grad. Ettersom servere og tjenester som kjører på dem øker, øker også mengden systemgenererte logger. Analyse av disse loggene er svært viktig i en infrastruktur av flere grunner. Dette inkluderer overholdelse av sikkerhetspolicyer og -forskrifter, systemfeilsøking, respons på en sikkerhetsrelatert hendelse eller å forstå brukeratferd.

Tre svært populære open source-applikasjoner kalt Elasticsearch, Logstash og Kibana kombineres for å lage Elastic Stack eller ELK Stack. Elastic Stack er et veldig kraftig verktøy for å søke, analysere og visualisere logger og data. Elasticsearch er en distribuert, sanntids, skalerbar og svært tilgjengelig applikasjon for å lagre logger og søke gjennom dem. Logstash samler loggene sendt av Beats, forbedrer den og sender den til Elasticsearch. Kibana er nettgrensesnittet som brukes til å visualisere loggene og handlingsvennlig innsikt.

I denne opplæringen vil vi installere den nyeste versjonen av Elasticsearch, Logstash og Kibana med X-Pack på Ubuntu 17.04.

Forutsetninger

For å følge denne opplæringen trenger du en Vultr 64-bit Ubuntu 17.04 serverforekomst med minst 4 GB RAM . For et produksjonsmiljø øker maskinvarekravene med antall brukere og logg.

Denne opplæringen er skrevet fra et sudobrukerperspektiv. For å sette opp en sudo-bruker, følg Hvordan bruke Sudo på Debian- veiledningen.

Du trenger også et domene som peker mot serveren din for å få sertifikater fra Let's Encrypt CA.

Trinn 1: Utfør en systemoppdatering

Før du installerer noen pakker på Ubuntu-serverforekomsten, anbefales det å oppdatere systemet. Logg på med sudo-brukeren og kjør følgende kommandoer for å oppdatere systemet.

sudo apt update
sudo apt -y upgrade

Når systemet er ferdig med å oppgradere, fortsett til neste trinn.

Trinn 2: Installer Java

Elasticsearch krever Java 8 for å fungere. Den støtter både Oracle Java og OpenJDK. Denne delen av opplæringen demonstrerer installasjon av både Oracle Java og OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Installere Oracle Java

For å installere Oracle Java på Ubuntu-systemet ditt, må du legge til Oracle Java PPA ved å kjøre:

sudo add-apt-repository ppa:webupd8team/java

Oppdater nå depotinformasjonen ved å kjøre:

sudo apt update

Nå kan du enkelt installere den siste stabile versjonen av Java 8 ved å kjøre:

sudo apt -y install oracle-java8-installer

Godta lisensavtalen når du blir bedt om det. Når installasjonen er fullført, kan du bekrefte Java-versjonen ved å kjøre:

java -version

Du bør se utdata som ligner på:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Du kan også angi JAVA_HOMEog andre standardinnstillinger ved å installere oracle-java8-set-default. Løpe:

sudo apt -y install oracle-java8-set-default

Du kan nå bekrefte om JAVA_HOMEvariabelen er satt ved å kjøre:

echo "$JAVA_HOME"

Utgangen skal ligne:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Hvis du ikke får utdataene vist ovenfor, må du kanskje logge ut og logge på skallet igjen. Oracle Java er nå installert på serveren din. Du kan nå fortsette til trinn 3 i opplæringen og hoppe over installasjonen av OpenJDK.

Installerer OpenJDK

Installasjon av OpenJDK er ganske grei. Bare kjør følgende kommando for å installere OpenJDK.

sudo apt -y install default-jdk

Når installasjonen er fullført, kan du bekrefte Java-versjonen ved å kjøre:

java -version

Du bør se utdata som ligner på:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

For å angi JAVA_HOMEvariabelen, kjør følgende kommando:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Last inn miljøfilen på nytt ved å kjøre:

sudo source /etc/environment

Du kan nå bekrefte om JAVA_HOMEvariabelen er satt ved å kjøre:

echo "$JAVA_HOME"

Utgangen skal ligne:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Trinn 3: Installer Elasticsearch

Elasticsearch er en superrask, distribuert, svært tilgjengelig, RESTful søkemotor. Legg til Elasticsearch APT-depotet ved å kjøre:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Kommandoen ovenfor oppretter en ny depotfil for Elasticsearch og legger til kildeoppføringen i den. Importer nå PGP-nøkkelen som ble brukt til å signere pakkene.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Oppdater metadataene for APT-depotet ved å kjøre:

sudo apt update

Installer Elasticsearch ved å kjøre følgende kommando.

sudo apt -y install elasticsearch

Kommandoen ovenfor vil installere den nyeste versjonen av Elasticsearch på systemet ditt. Når Elasticsearch er installert, last inn Systemd-tjenestedemonen på nytt ved å kjøre:

sudo systemctl daemon-reload

Start Elasticsearch og la den starte automatisk ved oppstart.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

For å stoppe Elasticsearch kan du kjøre:

sudo systemctl stop elasticsearch

For å sjekke statusen til tjenesten kan du kjøre:

sudo systemctl status elasticsearch

Elasticsearch kjører nå på port 9200. Du kan bekrefte om det fungerer og gir resultater ved å kjøre følgende kommando.

curl -XGET 'localhost:9200/?pretty'

En melding som ligner på følgende vil bli skrevet ut.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installer X-Pack for Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Let's Encrypt-sertifikater skal utløpe om 90 dager, derfor anbefales det å sette opp automatisk fornyelse for sertifikatene ved hjelp av cronjobs. Cron er en systemtjeneste som brukes til å kjøre periodiske oppgaver.

Åpne cron-jobbfilen ved å kjøre:

sudo crontab -e

Legg til følgende linje på slutten av filen.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Cron-jobben ovenfor vil kjøre hver mandag kl. 05.30. Hvis sertifikatet skal utløpe, vil det automatisk fornye dem.

Rediger standard virtuell vertsfil for Nginx ved å kjøre følgende kommando.

sudo nano /etc/nginx/sites-available/default

Erstatt det eksisterende innholdet med følgende innhold.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Sørg for at du oppdaterer kibana.example.commed ditt faktiske domenenavn, bekreft også banen til SSL-sertifikatet og den private nøkkelen.

Start Nginx-webserveren på nytt ved å kjøre:

sudo systemctl restart nginx

Hvis alt er konfigurert riktig, vil du se Kibana-påloggingsskjermen. Logg inn med brukernavn kibanaog passord som du har angitt. Du skal kunne logge på og se Kibana-dashbordet. Forlat dashbordet, for nå, vi konfigurerer det senere.

Installer Logstash

Logstash kan også installeres gjennom det offisielle Elasticsearch-depotet som vi la til tidligere. Installer Logstash ved å kjøre:

sudo apt -y install logstash

Kommandoen ovenfor vil installere den nyeste versjonen av Logstash på systemet ditt. Når Logstash er installert, last inn Systemd-tjenestedemonen på nytt ved å kjøre:

sudo systemctl daemon-reload

Start Logstash og la den starte automatisk ved oppstart.

sudo systemctl enable logstash
sudo systemctl start logstash

Installer X-Pack for Logstash

Du kan installere X-Pack for Logstash direkte ved å kjøre:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash kommer med en standardbruker logstash_system. Du kan tilbakestille passordet ved å kjøre:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Erstatt 192.168.0.1med den faktiske private IP-adressen til serveren og NewLogstashPasswordmed det nye passordet for Logstash-brukeren.

Start nå Logstash-tjenesten på nytt ved å kjøre:

sudo systemctl restart logstash

Rediger Logstash-konfigurasjonsfilen ved å kjøre:

sudo nano /etc/logstash/logstash.yml

Legg til følgende linjer på slutten av filen for å aktivere overvåking av Logstash-forekomsten.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Bytt ut Elasticsearch-URLen og Logstash-passordet i henhold til oppsettet ditt.

Du kan nå konfigurere Logstash til å motta data ved hjelp av forskjellige beats. Det finnes flere typer beats tilgjengelig: Packetbeat, Metricbeat, Filebeat, Winlogbeat og Heartbeat. Du må installere hver Beat separat.

Konklusjon

I denne opplæringen har vi installert Elastic Stack med X-Pack på Ubuntu 17.04. En grunnleggende ELK Stack er nå installert på serveren din.