Sådan installeres og konfigureres Elastic Stack (Elasticsearch, Logstash og Kibana) på Ubuntu 17.04

Efterhånden som it-infrastrukturen flytter til cloud, og Internet of Things bliver populært, bruger organisationer og it-professionelle offentlige cloud-tjenester i højere grad. Efterhånden som servere og tjenester, der kører på dem, stiger, stiger mængden af ​​systemgenererede logfiler også. Analyse af disse logfiler er meget vigtig i en infrastruktur af flere årsager. Dette inkluderer overholdelse af sikkerhedspolitikker og -regler, systemfejlfinding, reaktion på en sikkerhedsrelateret hændelse eller for at forstå brugeradfærd.

Tre meget populære open source-applikationer ved navn Elasticsearch, Logstash og Kibana kombineres for at skabe Elastic Stack eller ELK Stack. Elastic Stack er et meget kraftfuldt værktøj til at søge, analysere og visualisere logfiler og data. Elasticsearch er en distribueret, real-time, skalerbar og meget tilgængelig applikation til at gemme logfiler og søge gennem dem. Logstash samler logfilerne sendt af Beats, forbedrer dem og sender dem derefter til Elasticsearch. Kibana er webbrugergrænsefladen, der bruges til at visualisere logfilerne og handlingsorienteret indsigt.

I denne vejledning vil vi installere den seneste version af Elasticsearch, Logstash og Kibana med X-Pack på Ubuntu 17.04.

Forudsætninger

For at følge denne vejledning skal du bruge en Vultr 64-bit Ubuntu 17.04 serverinstans med mindst 4 GB RAM . For et produktionsmiljø stiger hardwarekravene med antallet af brugere og logfiler.

Denne tutorial er skrevet ud fra et sudobrugerperspektiv. For at oprette en sudo-bruger, følg Sådan bruger du Sudo på Debian- vejledningen.

Du skal også bruge et domæne, der peger mod din server for at få certifikater fra Let's Encrypt CA.

Trin 1: Udfør en systemopdatering

Før du installerer pakker på Ubuntu-serverinstansen, anbefales det at opdatere systemet. Log ind med sudo-brugeren og kør følgende kommandoer for at opdatere systemet.

sudo apt update
sudo apt -y upgrade

Når systemet er færdig med at opgradere, skal du fortsætte til næste trin.

Trin 2: Installer Java

Elasticsearch kræver Java 8 for at fungere. Det understøtter både Oracle Java og OpenJDK. Dette afsnit af selvstudiet demonstrerer installation af både Oracle Java og OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Installation af Oracle Java

For at installere Oracle Java på dit Ubuntu-system skal du tilføje Oracle Java PPA ved at køre:

sudo add-apt-repository ppa:webupd8team/java

Opdater nu lageroplysningerne ved at køre:

sudo apt update

Nu kan du nemt installere den seneste stabile version af Java 8 ved at køre:

sudo apt -y install oracle-java8-installer

Accepter licensaftalen, når du bliver bedt om det. Når installationen er færdig, kan du bekræfte Java-versionen ved at køre:

java -version

Du bør se output svarende til:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Du kan også indstille JAVA_HOMEog andre standardindstillinger ved at installere oracle-java8-set-default. Løb:

sudo apt -y install oracle-java8-set-default

Du kan nu kontrollere, om JAVA_HOMEvariablen er indstillet ved at køre:

echo "$JAVA_HOME"

Outputtet skal ligne:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Hvis du ikke får outputtet vist ovenfor, skal du muligvis logge ud og logge ind på shellen igen. Oracle Java er nu installeret på din server. Du kan nu fortsætte til trin 3 i selvstudiet og springe installationen af ​​OpenJDK over.

Installerer OpenJDK

Installation af OpenJDK er ret ligetil. Kør blot følgende kommando for at installere OpenJDK.

sudo apt -y install default-jdk

Når installationen er færdig, kan du bekræfte Java-versionen ved at køre:

java -version

Du bør se output svarende til:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

For at indstille JAVA_HOMEvariablen skal du køre følgende kommando:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Genindlæs miljøfilen ved at køre:

sudo source /etc/environment

Du kan nu kontrollere, om JAVA_HOMEvariablen er indstillet ved at køre:

echo "$JAVA_HOME"

Outputtet skal ligne:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Trin 3: Installer Elasticsearch

Elasticsearch er en superhurtig, distribueret, yderst tilgængelig, RESTful søgemaskine. Tilføj Elasticsearch APT-lageret ved at køre:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Ovenstående kommando opretter en ny depotfil til Elasticsearch og tilføjer kildeindgangen til den. Importer nu PGP-nøglen, der blev brugt til at signere pakkerne.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Opdater APT-lagerets metadata ved at køre:

sudo apt update

Installer Elasticsearch ved at køre følgende kommando.

sudo apt -y install elasticsearch

Ovenstående kommando vil installere den seneste version af Elasticsearch på dit system. Når Elasticsearch er blevet installeret, genindlæs Systemd-servicedæmonen ved at køre:

sudo systemctl daemon-reload

Start Elasticsearch og aktiver den til automatisk at starte ved opstart.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

For at stoppe Elasticsearch kan du køre:

sudo systemctl stop elasticsearch

For at kontrollere status for tjenesten kan du køre:

sudo systemctl status elasticsearch

Elasticsearch kører nu på port 9200. Du kan kontrollere, om det virker og giver resultater ved at køre følgende kommando.

curl -XGET 'localhost:9200/?pretty'

En meddelelse svarende til følgende vil blive udskrevet.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installer X-Pack for Elasticsearch

X-Pack er et Elastic Stack plug-in, der giver mange tilføjelsesfunktioner såsom sikkerhed, alarmering, overvågning, rapportering og graffunktioner. X-Pack giver også brugergodkendelse til Elasticsearch og Kibana, samt overvågning af forskellige noder i Kibana. Det er vigtigt, at X-Pack og Elasticsearch er installeret med samme version.

Du kan installere X-Pack for Elasticsearch direkte ved at køre:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

For at fortsætte installationen skal du indtaste, ynår du bliver bedt om det. Denne kommando installerer X-Pack-plugin'et på dit system. Når den er installeret, aktiverer X-Pack godkendelse for Elasticsearch. Standardbrugernavnet er elasticog adgangskoden er changeme. Du kan kontrollere, om godkendelse er aktiveret, ved at køre den samme kommando, som du kørte for at kontrollere, om Elasticsearch virker.

curl -XGET 'localhost:9200/?pretty'

Nu vil outputtet sige, at godkendelsen er mislykket.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Let's Encrypt-certifikater skal udløbe om 90 dage, derfor anbefales det at konfigurere automatisk fornyelse for certifikaterne ved hjælp af cronjobs. Cron er en systemtjeneste, som bruges til at køre periodiske opgaver.

Åbn cron job-filen ved at køre:

sudo crontab -e

Tilføj følgende linje i slutningen af ​​filen.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Ovenstående cron-job kører hver mandag kl. 05.30. Hvis certifikatet skal udløbe, vil det automatisk forny dem.

Rediger standard-virtuel værtsfil for Nginx ved at køre følgende kommando.

sudo nano /etc/nginx/sites-available/default

Erstat det eksisterende indhold med følgende indhold.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Sørg for at opdatere kibana.example.commed dit faktiske domænenavn, bekræft også stien til SSL-certifikatet og den private nøgle.

Genstart Nginx-webserveren ved at køre:

sudo systemctl restart nginx

Hvis alt er konfigureret korrekt, vil du se Kibana login-skærmen. Log ind med brugernavn kibanaog adgangskode, som du har angivet. Du skulle være i stand til at logge ind og se Kibana-dashboardet. Forlad dashboardet, for nu, vi konfigurerer det senere.

Installer Logstash

Logstash kan også installeres gennem det officielle Elasticsearch-lager, som vi tilføjede tidligere. Installer Logstash ved at køre:

sudo apt -y install logstash

Ovenstående kommando vil installere den seneste version af Logstash på dit system. Når Logstash er installeret, genindlæs Systemd-tjenestedæmonen ved at køre:

sudo systemctl daemon-reload

Start Logstash og aktiver den til automatisk at starte ved opstart.

sudo systemctl enable logstash
sudo systemctl start logstash

Installer X-Pack til Logstash

Du kan installere X-Pack til Logstash direkte ved at køre:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack til Logstash leveres med en standardbruger logstash_system. Du kan nulstille adgangskoden ved at køre:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Erstat 192.168.0.1med den faktiske private IP-adresse på serveren og NewLogstashPasswordmed den nye adgangskode til Logstash-brugeren.

Genstart nu Logstash-tjenesten ved at køre:

sudo systemctl restart logstash

Rediger Logstash-konfigurationsfilen ved at køre:

sudo nano /etc/logstash/logstash.yml

Tilføj følgende linjer i slutningen af ​​filen for at aktivere overvågning af Logstash-forekomsten.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Udskift Elasticsearch-URL'en og Logstash-adgangskoden i henhold til din opsætning.

Du kan nu konfigurere Logstash til at modtage data ved hjælp af forskellige beats. Der er flere typer beats tilgængelige: Packetbeat, Metricbeat, Filebeat, Winlogbeat og Heartbeat. Du skal installere hver Beat separat.

Konklusion

I denne tutorial har vi installeret Elastic Stack med X-Pack på Ubuntu 17.04. En grundlæggende ELK Stack er nu installeret på din server.