Hur man installerar och konfigurerar Elastic Stack (Elasticsearch, Logstash och Kibana) på Ubuntu 17.04

I takt med att IT-infrastrukturen går över till molnet och Internet of Things blir populärt, använder organisationer och IT-proffs offentliga molntjänster i större utsträckning. När servrar och tjänster som körs på dem ökar, ökar också mängden systemgenererade loggar. Analys av dessa loggar är mycket viktigt i en infrastruktur av flera anledningar. Detta inkluderar efterlevnad av säkerhetspolicyer och föreskrifter, systemfelsökning, svar på en säkerhetsrelaterad incident eller att förstå användarbeteende.

Tre mycket populära applikationer med öppen källkod som heter Elasticsearch, Logstash och Kibana kombineras för att skapa Elastic Stack eller ELK Stack. Elastic Stack är ett mycket kraftfullt verktyg för att söka, analysera och visualisera loggar och data. Elasticsearch är en distribuerad, skalbar och högtillgänglig applikation i realtid för att lagra loggar och söka igenom dem. Logstash samlar in loggarna som skickats av Beats, förbättrar dem och skickar dem sedan till Elasticsearch. Kibana är webbgränssnittet som används för att visualisera loggarna och handlingsbara insikter.

I den här handledningen kommer vi att installera den senaste versionen av Elasticsearch, Logstash och Kibana med X-Pack på Ubuntu 17.04.

Förutsättningar

För att följa denna handledning behöver du en Vultr 64-bitars Ubuntu 17.04- serverinstans med minst 4 GB RAM . För en produktionsmiljö ökar hårdvarukraven med antalet användare och loggar.

Denna handledning är skriven ur ett sudoanvändarperspektiv. För att ställa in en sudo-användare följ guiden Hur man använder Sudo på Debian .

Du behöver också en domän som pekar mot din server för att få certifikat från Let's Encrypt CA.

Steg 1: Utför en systemuppdatering

Innan du installerar några paket på Ubuntu-serverinstansen, rekommenderas att du uppdaterar systemet. Logga in med sudo-användaren och kör följande kommandon för att uppdatera systemet.

sudo apt update
sudo apt -y upgrade

När systemet har slutfört uppgraderingen, fortsätt till nästa steg.

Steg 2: Installera Java

Elasticsearch kräver Java 8 för att fungera. Den stöder både Oracle Java och OpenJDK. Det här avsnittet av handledningen visar installationen av både Oracle Java och OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Installera Oracle Java

För att installera Oracle Java på ditt Ubuntu-system måste du lägga till Oracle Java PPA genom att köra:

sudo add-apt-repository ppa:webupd8team/java

Uppdatera nu förvarsinformationen genom att köra:

sudo apt update

Nu kan du enkelt installera den senaste stabila versionen av Java 8 genom att köra:

sudo apt -y install oracle-java8-installer

Acceptera licensavtalet när du uppmanas. När installationen är klar kan du verifiera Java-versionen genom att köra:

java -version

Du bör se utdata som liknar:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Du kan också ställa in JAVA_HOMEoch andra standardinställningar genom att installera oracle-java8-set-default. Springa:

sudo apt -y install oracle-java8-set-default

Du kan nu verifiera om JAVA_HOMEvariabeln är inställd genom att köra:

echo "$JAVA_HOME"

Utgången ska likna:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Om du inte får utdata som visas ovan kan du behöva logga ut och logga in på skalet igen. Oracle Java är nu installerat på din server. Du kan nu gå vidare till steg 3 i handledningen och hoppa över installationen av OpenJDK.

Installerar OpenJDK

Installationen av OpenJDK är ganska enkel. Kör helt enkelt följande kommando för att installera OpenJDK.

sudo apt -y install default-jdk

När installationen är klar kan du verifiera Java-versionen genom att köra:

java -version

Du bör se utdata som liknar:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

För att ställa in JAVA_HOMEvariabeln, kör följande kommando:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Ladda om miljöfilen genom att köra:

sudo source /etc/environment

Du kan nu verifiera om JAVA_HOMEvariabeln är inställd genom att köra:

echo "$JAVA_HOME"

Utgången ska likna:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Steg 3: Installera Elasticsearch

Elasticsearch är en supersnabb, distribuerad, mycket tillgänglig, RESTful sökmotor. Lägg till Elasticsearch APT-förvaret genom att köra:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Kommandot ovan skapar en ny förvarsfil för Elasticsearch och lägger till källposten i den. Importera nu PGP-nyckeln som användes för att signera paketen.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Uppdatera APT-förvarets metadata genom att köra:

sudo apt update

Installera Elasticsearch genom att köra följande kommando.

sudo apt -y install elasticsearch

Ovanstående kommando kommer att installera den senaste versionen av Elasticsearch på ditt system. När Elasticsearch har installerats, ladda om Systemd-tjänstdemonen genom att köra:

sudo systemctl daemon-reload

Starta Elasticsearch och låt den starta automatiskt vid uppstart.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

För att stoppa Elasticsearch kan du köra:

sudo systemctl stop elasticsearch

För att kontrollera tjänstens status kan du köra:

sudo systemctl status elasticsearch

Elasticsearch körs nu på port 9200. Du kan verifiera om det fungerar och ger resultat genom att köra följande kommando.

curl -XGET 'localhost:9200/?pretty'

Ett meddelande som liknar följande kommer att skrivas ut.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Installera X-Pack for Elasticsearch

X-Pack är en Elastic Stack plug-in som ger många tilläggsfunktioner som säkerhet, larm, övervakning, rapportering och graffunktioner. X-Pack tillhandahåller även användarautentisering för Elasticsearch och Kibana, samt övervakning av olika noder i Kibana. Det är viktigt att X-Pack och Elasticsearch installeras med samma version.

Du kan installera X-Pack for Elasticsearch direkt genom att köra:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

För att fortsätta installationen, ange ynär du uppmanas. Detta kommando kommer att installera X-Pack-plugin-programmet på ditt system. När det är installerat, aktiverar X-Pack autentisering för Elasticsearch. Standardanvändarnamnet är elasticoch lösenordet är changeme. Du kan kontrollera om autentisering är aktiverad genom att köra samma kommando som du körde för att kontrollera om Elasticsearch fungerar.

curl -XGET 'localhost:9200/?pretty'

Nu kommer utdata att säga att autentiseringen har misslyckats.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Ändra standardlösenordet changemegenom att köra följande kommando.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Ersätt NewPasswordmed det faktiska lösenordet du vill använda. Du kan kontrollera om det nya lösenordet är inställt och Elasticsearch fungerar genom att köra följande kommando.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

Du kommer att se utdata som visar den framgångsrika exekveringen av frågan.

Vidare, redigera Elasticsearch-konfigurationsfilen genom att köra:

sudo nano /etc/elasticsearch/elasticsearch.yml

Hitta följande rader, avkommentera raderna och ändra dem enligt instruktionerna.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

För network.host, ange den privata IP-adress som tilldelats systemet. Starta om Elasticsearch-instansen genom att köra:

sudo systemctl restart elasticsearch

Nu, istället för localhost, måste du använda IP-adressen för att köra frågan med curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Avkommentera raderna ovan och elasticsearch.urlange URL:en för Elasticsearch-instansen. IP-adressen måste vara samma IP-adress som användes i elasticsearch.yml. Vidare, ställ in användarnamnet från usertill elasticoch ange även lösenordet för den elastiska användaren som du har angett tidigare.

Starta om Kibana-instansen genom att köra:

sudo systemctl restart kibana

Installera Nginx som omvänd proxy för Kibana

Eftersom vi kör Kibana på localhostvid port 5601, rekommenderas det att ställa in en omvänd proxy med Apache eller Nginx för att komma åt Kibana utanför det lokala nätverket. I den här handledningen kommer vi att ställa in Nginx som en omvänd proxy för Kibana. Vi kommer också att säkra Nginx-instansen med ett Let's Encrypt gratis SSL-certifikat.

Installera Nginx genom att köra:

sudo apt -y install nginx

Starta och aktivera Nginx för att automatiskt starta vid uppstart.

sudo systemctl start nginx
sudo systemctl enable nginx

Nu när Nginx-webbservern är installerad och igång kan vi fortsätta att installera Certbot, som är den officiella och automatiska Let's Encrypt-certifikatklienten. Lägg till Certbot PPA till ditt system genom att köra:

sudo add-apt-repository ppa:certbot/certbot

Uppdatera metainformationen för förvaret.

sudo apt update

Nu kan du enkelt installera den senaste versionen av Certbot genom att köra:

sudo apt -y install python-certbot-nginx 

Det föregående kommandot kommer att lösa och installera de nödvändiga beroendena tillsammans med Certbot-paketet.

Nu när vi har Certbot installerat, generera certifikaten för din domän genom att köra:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Glöm inte att byta kibana.example.commed ditt faktiska domännamn. Det föregående kommandot kommer att använda Certbot-klienten. Den certonlyparameter berättar Certbot klienten för att generera certifikat endast. Att använda det här alternativet säkerställer att certifikat inte installeras automatiskt och att Nginx-konfigurationen inte har ändrats. Verifiering kommer att göras genom att placera utmaningsfilerna i den angivna webrootkatalogen.

Certbot kommer att be dig ange din e-postadress för att skicka meddelandet om förnyelse. Du måste också acceptera licensavtalet.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

De genererade certifikaten kommer sannolikt att lagras i /etc/letsencrypt/live/kibana.example.com/katalogen. SSL-certifikatet kommer att lagras som fullchain.pemoch den privata nyckeln kommer att lagras som privkey.pem.

Let's Encrypt-certifikaten löper ut om 90 dagar, därför rekommenderas att ställa in automatisk förnyelse för certifikaten med hjälp av cronjobs. Cron är en systemtjänst som används för att köra periodiska uppgifter.

Öppna cron-jobbfilen genom att köra:

sudo crontab -e

Lägg till följande rad i slutet av filen.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Ovanstående cron-jobb kommer att köras varje måndag kl. 05.30. Om certifikatet löper ut förnyas det automatiskt.

Redigera den virtuella standardvärdfilen för Nginx genom att köra följande kommando.

sudo nano /etc/nginx/sites-available/default

Ersätt det befintliga innehållet med följande innehåll.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Se till att du uppdaterar kibana.example.commed ditt faktiska domännamn, verifiera även sökvägen till SSL-certifikatet och den privata nyckeln.

Starta om Nginx-webbservern genom att köra:

sudo systemctl restart nginx

Om allt har konfigurerats korrekt kommer du att se Kibanas inloggningsskärm. Logga in med användarnamn kibanaoch lösenord som du har angett. Du bör kunna logga in och se Kibanas instrumentpanel. Lämna instrumentpanelen, för nu, vi kommer att konfigurera den senare.

Installera Logstash

Logstash kan också installeras genom det officiella Elasticsearch-förrådet som vi lade till tidigare. Installera Logstash genom att köra:

sudo apt -y install logstash

Ovanstående kommando kommer att installera den senaste versionen av Logstash på ditt system. När Logstash har installerats, ladda om Systemd-tjänstdemonen genom att köra:

sudo systemctl daemon-reload

Starta Logstash och låt den starta automatiskt vid uppstart.

sudo systemctl enable logstash
sudo systemctl start logstash

Installera X-Pack för Logstash

Du kan installera X-Pack för Logstash direkt genom att köra:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash kommer med en standardanvändare logstash_system. Du kan återställa lösenordet genom att köra:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Ersätt 192.168.0.1med den faktiska privata IP-adressen för servern och NewLogstashPasswordmed det nya lösenordet för Logstash-användare.

Starta nu om Logstash-tjänsten genom att köra:

sudo systemctl restart logstash

Redigera Logstash-konfigurationsfilen genom att köra:

sudo nano /etc/logstash/logstash.yml

Lägg till följande rader i slutet av filen för att möjliggöra övervakning av Logstash-instansen.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Byt ut Elasticsearch-URL:n och Logstash-lösenordet enligt din inställning.

Du kan nu konfigurera Logstash för att ta emot data med olika beats. Det finns flera typer av beats tillgängliga: Packetbeat, Metricbeat, Filebeat, Winlogbeat och Heartbeat. Du måste installera varje Beat separat.

Slutsats

I den här handledningen har vi installerat Elastic Stack med X-Pack på Ubuntu 17.04. En grundläggande ELK-stack är nu installerad på din server.