Како инсталирати и конфигурисати Еластиц Стацк (Еластицсеарцх, Логстасх и Кибана) на Убунту 17.04

Како ИТ инфраструктура прелази у облак, а Интернет ствари постаје популаран, организације и ИТ професионалци у већој мери користе услуге јавног облака. Како се повећавају сервери и сервиси који се на њима покрећу, тако се повећава и количина системских евиденција. Анализа ових дневника је веома важна у инфраструктури из неколико разлога. Ово укључује усклађеност са безбедносним политикама и прописима, решавање проблема са системом, реаговање на безбедносни инцидент или разумевање понашања корисника.

Три веома популарне апликације отвореног кода под називом Еластицсеарцх, Логстасх и Кибана комбинују се заједно да креирају Еластиц Стацк или ЕЛК Стацк. Еластиц Стацк је веома моћан алат за претрагу, анализу и визуелизацију евиденције и података. Еластицсеарцх је дистрибуирана, скалабилна и веома доступна апликација у реалном времену за складиштење дневника и претрагу кроз њих. Логстасх прикупља евиденције које шаље Беатс, побољшава их, а затим их шаље у Еластицсеарцх. Кибана је веб кориснички интерфејс који се користи за визуелизацију евиденција и увида који се могу применити.

У овом водичу ћемо инсталирати најновију верзију Еластицсеарцх-а, Логстасх-а и Кибана са Кс-Пацк-ом на Убунту 17.04.

Предуслови

Да бисте пратили овај водич, биће вам потребна Вултр 64-битна инстанца сервера Убунту 17.04 са најмање 4 ГБ РАМ-а . За производно окружење, хардверски захтеви се повећавају са бројем корисника и евиденције.

Овај водич је написан из sudoперспективе корисника. Да бисте подесили судо корисника, пратите Како користити Судо на Дебиан водичу.

Такође ће вам требати домен усмерен ка вашем серверу да бисте добили сертификате од Лет'с Енцрипт ЦА.

Корак 1: Извршите ажурирање система

Пре инсталирања било ког пакета на инстанци Убунту сервера, препоручује се ажурирање система. Пријавите се користећи судо корисника и покрените следеће команде да бисте ажурирали систем.

sudo apt update
sudo apt -y upgrade

Када систем заврши надоградњу, пређите на следећи корак.

Корак 2: Инсталирајте Јава

Еластицсеарцх захтева Јава 8 за рад. Подржава и Орацле Јава и ОпенЈДК. Овај одељак упутства показује инсталацију Орацле Јава и ОпенЈДК.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Инсталирање Орацле Јава

Да бисте инсталирали Орацле Јава на ваш Убунту систем, мораћете да додате Орацле Јава ППА тако што ћете покренути:

sudo add-apt-repository ppa:webupd8team/java

Сада ажурирајте информације о спремишту тако што ћете покренути:

sudo apt update

Сада можете лако да инсталирате најновију стабилну верзију Јава 8 тако што ћете покренути:

sudo apt -y install oracle-java8-installer

Прихватите уговор о лиценци када се то од вас затражи. Када се инсталација заврши, можете верификовати Јава верзију тако што ћете покренути:

java -version

Требало би да видите излаз сличан:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Такође можете поставити JAVA_HOMEи друге подразумеване вредности инсталирањем oracle-java8-set-default. Трцати:

sudo apt -y install oracle-java8-set-default

Сада можете да проверите да ли је JAVA_HOMEпроменљива подешена тако што ћете покренути:

echo "$JAVA_HOME"

Излаз би требало да личи на:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ако не добијете излаз приказан изнад, можда ћете морати да се одјавите и поново пријавите на љуску. Орацле Јава је сада инсталирана на вашем серверу. Сада можете да пређете на корак 3 водича прескачући инсталацију ОпенЈДК.

Инсталирање ОпенЈДК

Инсталација ОпенЈДК је прилично једноставна. Једноставно покрените следећу команду да бисте инсталирали ОпенЈДК.

sudo apt -y install default-jdk

Када се инсталација заврши, можете верификовати Јава верзију тако што ћете покренути:

java -version

Требало би да видите излаз сличан:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

Да бисте подесили JAVA_HOMEпроменљиву, покрените следећу команду:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Поново учитајте датотеку окружења тако што ћете покренути:

sudo source /etc/environment

Сада можете да проверите да ли је JAVA_HOMEпроменљива подешена тако што ћете покренути:

echo "$JAVA_HOME"

Излаз би требало да личи на:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Корак 3: Инсталирајте Еластицсеарцх

Еластицсеарцх је супер-брз, дистрибуиран, високо доступан, РЕСТфул претраживач. Додајте Еластицсеарцх АПТ спремиште тако што ћете покренути:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Горња команда креира нову датотеку спремишта за Еластицсеарцх и додаје изворни унос у њега. Сада увезите ПГП кључ који се користи за потписивање пакета.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Ажурирајте метаподатке АПТ спремишта тако што ћете покренути:

sudo apt update

Инсталирајте Еластицсеарцх тако што ћете покренути следећу команду.

sudo apt -y install elasticsearch

Горња команда ће инсталирати најновију верзију Еластицсеарцх-а на ваш систем. Када се Еластицсеарцх инсталира, поново учитајте Системд сервисни демон тако што ћете покренути:

sudo systemctl daemon-reload

Покрените Еластицсеарцх и омогућите му да се аутоматски покреће при покретању.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

Да бисте зауставили Еластицсеарцх, можете покренути:

sudo systemctl stop elasticsearch

Да бисте проверили статус услуге, можете покренути:

sudo systemctl status elasticsearch

Еластицсеарцх сада ради на порту 9200. Можете проверити да ли ради и даје резултате тако што ћете покренути следећу команду.

curl -XGET 'localhost:9200/?pretty'

Биће одштампана порука слична следећој.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Инсталирајте Кс-Пацк за Еластицсеарцх

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Лет'с Енцрипт сертификати истичу за 90 дана, па се препоручује подешавање аутоматског обнављања сертификата помоћу цроњобс. Црон је системска услуга која се користи за извршавање периодичних задатака.

Отворите црон датотеку посла тако што ћете покренути:

sudo crontab -e

Додајте следећи ред на крај датотеке.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Горњи црон посао ће се изводити сваког понедељка у 5:30. Ако сертификат истекне, аутоматски ће се обновити.

Уредите подразумевану датотеку виртуелног хоста за Нгинк тако што ћете покренути следећу команду.

sudo nano /etc/nginx/sites-available/default

Замените постојећи садржај следећим садржајем.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Уверите се да сте ажурирали kibana.example.comса својим стварним именом домена, такође проверите путању до ССЛ сертификата и приватног кључа.

Поново покрените Нгинк веб сервер тако што ћете покренути:

sudo systemctl restart nginx

Ако је све исправно конфигурисано, видећете екран за пријаву на Кибана. Пријавите се користећи корисничко име kibanaи лозинку које сте поставили. Требало би да будете у могућности да се успешно пријавите и видите контролну таблу Кибана. Оставите контролну таблу, за сада ћемо је конфигурисати касније.

Инсталирајте Логстасх

Логстасх се такође може инсталирати преко званичног Еластицсеарцх спремишта које смо додали раније. Инсталирајте Логстасх тако што ћете покренути:

sudo apt -y install logstash

Горња команда ће инсталирати најновију верзију Логстасх-а на ваш систем. Када се Логстасх инсталира, поново учитајте Системд сервисни демон тако што ћете покренути:

sudo systemctl daemon-reload

Покрените Логстасх и омогућите му да се аутоматски покреће при покретању.

sudo systemctl enable logstash
sudo systemctl start logstash

Инсталирајте Кс-Пацк за Логстасх

Можете да инсталирате Кс-Пацк за Логстасх директно тако што ћете покренути:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

Кс-Пацк за Логстасх долази са подразумеваним корисником logstash_system. Можете ресетовати лозинку тако што ћете покренути:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Замените 192.168.0.1стварном приватном ИП адресом сервера и NewLogstashPasswordновом лозинком за Логстасх корисника.

Сада поново покрените Логстасх услугу тако што ћете покренути:

sudo systemctl restart logstash

Уредите конфигурациону датотеку Логстасх тако што ћете покренути:

sudo nano /etc/logstash/logstash.yml

Додајте следеће редове на крај датотеке да бисте омогућили праћење Логстасх инстанце.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Замените Еластицсеарцх УРЛ и Логстасх лозинку у складу са вашим подешавањем.

Сада можете да конфигуришете Логстасх да прима податке користећи различите Беатс. Доступно је неколико врста откуцаја: Пацкетбеат, Метрицбеат, Филебеат, Винлогбеат и Хеартбеат. Мораћете да инсталирате сваки Беат посебно.

Закључак

У овом водичу смо инсталирали Еластиц Стацк са Кс-Пацком на Убунту 17.04. Основни ЕЛК стек је сада инсталиран на вашем серверу.