Hvernig á að setja upp og stilla Elastic Stack (Elasticsearch, Logstash og Kibana) á Ubuntu 17.04

Eftir því sem upplýsingatækniinnviðir eru að færast yfir í ský og Internet of Things er að verða vinsælt, nota stofnanir og sérfræðingar í upplýsingatækni í meira mæli opinbera skýjaþjónustu. Eftir því sem netþjónum og þjónustum sem keyra á þeim fjölgar, eykst magn kerfisframleiddra annála líka. Greining á þessum annálum er mjög mikilvæg í innviðum af ýmsum ástæðum. Þetta felur í sér fylgni við öryggisstefnur og -reglur, bilanaleit kerfis, viðbrögð við öryggisatviki eða að skilja hegðun notenda.

Þrjú mjög vinsæl opinn uppspretta forrit sem heita Elasticsearch, Logstash og Kibana sameinast til að búa til Elastic Stack eða ELK Stack. Elastic Stack er mjög öflugt tól til að leita, greina og sjá annála og gögn. Elasticsearch er dreift, rauntíma, stigstærð og mjög fáanlegt forrit til að geyma annála og leita í þeim. Logstash safnar saman annálunum sem Beats sendir, bætir það og sendir það síðan til Elasticsearch. Kibana er vefviðmótið sem notað er til að sjá annálana og raunhæfa innsýn.

Í þessari kennslu munum við setja upp nýjustu útgáfuna af Elasticsearch, Logstash og Kibana með X-Pack á Ubuntu 17.04.

Forkröfur

Til að fylgja þessari kennslu þarftu Vultr 64-bita Ubuntu 17.04 netþjónstilvik með að minnsta kosti 4 GB vinnsluminni . Fyrir framleiðsluumhverfi aukast vélbúnaðarþörfin með fjölda notenda og annála.

Þessi kennsla er skrifuð frá sudosjónarhóli notenda. Til að setja upp sudo notanda skaltu fylgja Hvernig á að nota Sudo á Debian handbók.

Þú þarft líka lén sem vísar í átt að netþjóninum þínum til að fá vottorð frá Let's Encrypt CA.

Skref 1: Framkvæmdu kerfisuppfærslu

Áður en þú setur upp einhverja pakka á Ubuntu netþjóninum er mælt með því að uppfæra kerfið. Skráðu þig inn með sudo notandanum og keyrðu eftirfarandi skipanir til að uppfæra kerfið.

sudo apt update
sudo apt -y upgrade

Þegar kerfið hefur lokið uppfærslu skaltu halda áfram í næsta skref.

Skref 2: Settu upp Java

Elasticsearch krefst Java 8 til að virka. Það styður bæði Oracle Java og OpenJDK. Þessi hluti kennslu sýnir uppsetningu á bæði Oracle Java og OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Að setja upp Oracle Java

Til að setja upp Oracle Java á Ubuntu kerfinu þínu þarftu að bæta við Oracle Java PPA með því að keyra:

sudo add-apt-repository ppa:webupd8team/java

Uppfærðu nú geymsluupplýsingarnar með því að keyra:

sudo apt update

Nú geturðu auðveldlega sett upp nýjustu stöðugu útgáfuna af Java 8 með því að keyra:

sudo apt -y install oracle-java8-installer

Samþykktu leyfissamninginn þegar beðið er um það. Þegar uppsetningunni er lokið geturðu staðfest Java útgáfuna með því að keyra:

java -version

Þú ættir að sjá framleiðsla svipað og:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Þú getur líka stillt JAVA_HOMEog aðrar sjálfgefnar stillingar með því að setja upp oracle-java8-set-default. Hlaupa:

sudo apt -y install oracle-java8-set-default

Þú getur nú staðfest hvort JAVA_HOMEbreytan sé stillt með því að keyra:

echo "$JAVA_HOME"

Úttakið ætti að líkjast:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ef þú færð ekki úttakið sem sýnt er hér að ofan gætirðu þurft að skrá þig út og inn í skelina aftur. Oracle Java er nú sett upp á netþjóninum þínum. Þú getur nú haldið áfram í skref 3 í kennslunni og sleppt því að setja upp OpenJDK.

Að setja upp OpenJDK

Uppsetning OpenJDK er frekar einföld. Einfaldlega keyrðu eftirfarandi skipun til að setja upp OpenJDK.

sudo apt -y install default-jdk

Þegar uppsetningunni er lokið geturðu staðfest Java útgáfuna með því að keyra:

java -version

Þú ættir að sjá framleiðsla svipað og:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Til að stilla JAVA_HOMEbreytuna skaltu keyra eftirfarandi skipun:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Endurhlaða umhverfisskrána með því að keyra:

sudo source /etc/environment

Þú getur nú staðfest hvort JAVA_HOMEbreytan sé stillt með því að keyra:

echo "$JAVA_HOME"

Úttakið ætti að líkjast:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Skref 3: Settu upp Elasticsearch

Elasticsearch er ofurhröð, dreifð, mjög fáanleg, RESTful leitarvél. Bættu við Elasticsearch APT geymslunni með því að keyra:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Ofangreind skipun býr til nýja geymsluskrá fyrir Elasticsearch og bætir upprunafærslunni inn í hana. Flyttu nú inn PGP lykilinn sem notaður var til að undirrita pakkana.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Uppfærðu lýsigögn APT geymslunnar með því að keyra:

sudo apt update

Settu upp Elasticsearch með því að keyra eftirfarandi skipun.

sudo apt -y install elasticsearch

Ofangreind skipun mun setja upp nýjustu útgáfuna af Elasticsearch á vélinni þinni. Þegar Elasticsearch hefur verið sett upp skaltu endurhlaða Systemd þjónustupúkinn með því að keyra:

sudo systemctl daemon-reload

Ræstu Elasticsearch og gerðu það kleift að byrja sjálfkrafa við ræsingu.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Til að stöðva Elasticsearch geturðu keyrt:

sudo systemctl stop elasticsearch

Til að athuga stöðu þjónustunnar geturðu keyrt:

sudo systemctl status elasticsearch

Elasticsearch er nú í gangi á höfn 9200. Þú getur staðfest hvort það virki og skilar árangri með því að keyra eftirfarandi skipun.

curl -XGET 'localhost:9200/?pretty'

Skilaboð sem líkjast eftirfarandi verða prentuð.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Settu upp X-Pack fyrir Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Við skulum dulkóða vottorð eiga að renna út eftir 90 daga, þess vegna er mælt með því að setja upp sjálfvirka endurnýjun fyrir skírteinin með því að nota cronjobs. Cron er kerfisþjónusta sem er notuð til að keyra reglubundin verkefni.

Opnaðu cron vinnuskrána með því að keyra:

sudo crontab -e

Bættu við eftirfarandi línu í lok skráarinnar.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Ofangreint cron starf mun standa yfir alla mánudaga klukkan 5:30. Ef skírteinið á að renna út mun það endurnýja það sjálfkrafa.

Breyttu sjálfgefna sýndarhýsingarskránni fyrir Nginx með því að keyra eftirfarandi skipun.

sudo nano /etc/nginx/sites-available/default

Skiptu út fyrirliggjandi efni fyrir eftirfarandi efni.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Gakktu úr skugga um að þú uppfærir kibana.example.commeð raunverulegu léninu þínu, staðfestu einnig slóðina að SSL vottorðinu og einkalyklinum.

Endurræstu Nginx vefþjóninn með því að keyra:

sudo systemctl restart nginx

Ef allt hefur verið stillt rétt muntu sjá Kibana innskráningarskjáinn. Skráðu þig inn með notandanafni kibanaog lykilorði sem þú hefur stillt. Þú ættir að geta skráð þig inn og séð Kibana mælaborðið. Farðu frá mælaborðinu, í bili munum við stilla það síðar.

Settu upp Logstash

Logstash er einnig hægt að setja upp í gegnum opinberu Elasticsearch geymsluna sem við bættum við áðan. Settu upp Logstash með því að keyra:

sudo apt -y install logstash

Ofangreind skipun mun setja upp nýjustu útgáfuna af Logstash á vélinni þinni. Þegar Logstash hefur verið sett upp skaltu endurhlaða Systemd þjónustupúkinn með því að keyra:

sudo systemctl daemon-reload

Ræstu Logstash og gerðu það kleift að byrja sjálfkrafa við ræsingu.

sudo systemctl enable logstash
sudo systemctl start logstash

Settu upp X-Pack fyrir Logstash

Þú getur sett upp X-Pack fyrir Logstash beint með því að keyra:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack for Logstash kemur með sjálfgefna notanda logstash_system. Þú getur endurstillt lykilorðið með því að keyra:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Skiptu út 192.168.0.1fyrir raunverulegt einka IP tölu netþjónsins og NewLogstashPasswordmeð nýju lykilorði fyrir Logstash notanda.

Endurræstu nú Logstash þjónustuna með því að keyra:

sudo systemctl restart logstash

Breyttu Logstash stillingarskránni með því að keyra:

sudo nano /etc/logstash/logstash.yml

Bættu við eftirfarandi línum í lok skrárinnar til að virkja eftirlit með Logstash tilvikinu.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Skiptu um Elasticsearch vefslóðina og Logstash lykilorðið í samræmi við uppsetninguna þína.

Þú getur nú stillt Logstash til að taka á móti gögnum með því að nota mismunandi takta. Það eru nokkrar gerðir af slögum í boði: Packetbeat, Metricbeat, Filebeat, Winlogbeat og Heartbeat. Þú þarft að setja upp hvern Beat fyrir sig.

Niðurstaða

Í þessari kennslu höfum við sett upp Elastic Stack með X-Pack á Ubuntu 17.04. Einfaldur ELK Stack er nú settur upp á netþjóninum þínum.