Как да инсталирате и конфигурирате Elastic Stack (Elasticsearch, Logstash и Kibana) в Ubuntu 17.04

Тъй като ИТ инфраструктурата се премества в облака и Интернет на нещата става популярен, организациите и ИТ специалистите използват обществени облачни услуги в по-голяма степен. Тъй като сървърите и услугите, работещи на тях, се увеличават, количеството генерирани от системата регистрационни файлове също се увеличава. Анализът на тези регистрационни файлове е много важен в инфраструктурата по няколко причини. Това включва спазване на политиките и разпоредбите за сигурност, отстраняване на неизправности в системата, реагиране на инцидент, свързан със сигурността, или разбиране на поведението на потребителите.

Три много популярни приложения с отворен код, наречени Elasticsearch, Logstash и Kibana, се комбинират заедно, за да създадат Elastic Stack или ELK Stack. Elastic Stack е много мощен инструмент за търсене, анализиране и визуализиране на регистрационни файлове и данни. Elasticsearch е разпределено, в реално време, мащабируемо и високодостъпно приложение за съхраняване на регистрационни файлове и търсене в тях. Logstash събира логовете, изпратени от Beats, подобрява ги и след това ги изпраща на Elasticsearch. Kibana е уеб потребителският интерфейс, използван за визуализиране на регистрационните файлове и полезни прозрения.

В този урок ще инсталираме най-новата версия на Elasticsearch, Logstash и Kibana с X-Pack на Ubuntu 17.04.

Предпоставки

За да следвате този урок, ще ви трябва Vultr 64-битов сървър на Ubuntu 17.04 с поне 4 GB RAM . За производствена среда хардуерните изисквания се увеличават с броя на потребителите и регистрационните файлове.

Този урок е написан от sudoгледна точка на потребителя. За да настроите потребител на sudo, следвайте ръководството Как да използвате Sudo в Debian .

Ще ви е необходим и домейн, насочен към вашия сървър, за да получите сертификати от Let's Encrypt CA.

Стъпка 1: Извършете актуализация на системата

Преди да инсталирате каквито и да е пакети на сървърния екземпляр на Ubuntu, се препоръчва да актуализирате системата. Влезте с помощта на sudo потребителя и изпълнете следните команди, за да актуализирате системата.

sudo apt update
sudo apt -y upgrade

След като системата завърши надстройката, преминете към следващата стъпка.

Стъпка 2: Инсталирайте Java

Elasticsearch изисква Java 8, за да работи. Той поддържа както Oracle Java, така и OpenJDK. Този раздел на урока демонстрира инсталирането на Oracle Java и OpenJDK.

Make sure that you install any one of the following Java versions. Installation of Oracle Java is recommended for Elasticsearch. However, you may also choose to install OpenJDK according to your preference.

Инсталиране на Oracle Java

За да инсталирате Oracle Java на вашата Ubuntu система, ще трябва да добавите Oracle Java PPA, като изпълните:

sudo add-apt-repository ppa:webupd8team/java

Сега актуализирайте информацията за хранилището, като изпълните:

sudo apt update

Сега можете лесно да инсталирате най-новата стабилна версия на Java 8, като изпълните:

sudo apt -y install oracle-java8-installer

Приемете лицензионното споразумение, когато бъдете подканени. След като инсталацията приключи, можете да проверите версията на Java, като изпълните:

java -version

Трябва да видите изход, подобен на:

user@vultr:~$ java -version
java version "1.8.0_131"
Java(TM) SE Runtime Environment (build 1.8.0_131-b11)
Java HotSpot(TM) 64-Bit Server VM (build 25.131-b11, mixed mode)

Можете също да зададете JAVA_HOMEи други настройки по подразбиране, като инсталирате oracle-java8-set-default. Пусни:

sudo apt -y install oracle-java8-set-default

Вече можете да проверите дали JAVA_HOMEпроменливата е зададена, като изпълните:

echo "$JAVA_HOME"

Резултатът трябва да прилича на:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-oracle

Ако не получите изхода, показан по-горе, може да се наложи да излезете и да влезете отново в shell. Oracle Java вече е инсталиран на вашия сървър. Сега можете да продължите към Стъпка 3 от инструкцията за прескачане на инсталация на OpenJDK.

Инсталиране на OpenJDK

Инсталирането на OpenJDK е доста лесно. Просто изпълнете следната команда, за да инсталирате OpenJDK.

sudo apt -y install default-jdk

След като инсталацията приключи, можете да проверите версията на Java, като изпълните:

java -version

Трябва да видите изход, подобен на:

user@vultr:~$ java -version
openjdk version "1.8.0_131"
OpenJDK Runtime Environment (build 1.8.0_131-8u131-b11-2ubuntu1.17.04.2-b11)
OpenJDK 64-Bit Server VM (build 25.131-b11, mixed mode)

За да зададете JAVA_HOMEпроменливата, изпълнете следната команда:

sudo echo "JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64" >> /etc/environment

Презаредете файла на средата, като изпълните:

sudo source /etc/environment

Вече можете да проверите дали JAVA_HOMEпроменливата е зададена, като изпълните:

echo "$JAVA_HOME"

Резултатът трябва да прилича на:

user@vultr:~$ echo "$JAVA_HOME"
/usr/lib/jvm/java-8-openjdk-amd64/

Стъпка 3: Инсталирайте Elasticsearch

Elasticsearch е супер бърза, разпределена, високодостъпна, RESTful търсачка. Добавете хранилището на Elasticsearch APT, като изпълните:

echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-5.x.list

Горната команда създава нов файл на хранилището за Elasticsearch и добавя към него изходния запис. Сега импортирайте PGP ключа, използван за подписване на пакетите.

wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -

Актуализирайте метаданните на хранилището на APT, като изпълните:

sudo apt update

Инсталирайте Elasticsearch, като изпълните следната команда.

sudo apt -y install elasticsearch

Горната команда ще инсталира най-новата версия на Elasticsearch на вашата система. След като Elasticsearch бъде инсталиран, презаредете демона на услугата Systemd, като изпълните:

sudo systemctl daemon-reload

Стартирайте Elasticsearch и го активирайте да стартира автоматично при стартиране.

sudo systemctl enable elasticsearch
sudo systemctl start elasticsearch

За да спрете Elasticsearch, можете да изпълните:

sudo systemctl stop elasticsearch

За да проверите състоянието на услугата, можете да изпълните:

sudo systemctl status elasticsearch

Elasticsearch вече работи на порт 9200. Можете да проверите дали работи и дава резултати, като изпълните следната команда.

curl -XGET 'localhost:9200/?pretty'

Ще бъде отпечатано съобщение, подобно на следното.

user@vultr:~$ curl -XGET 'localhost:9200/?pretty'
{
  "name" : "wDaVa1K",
  "cluster_name" : "elasticsearch",
  "cluster_uuid" : "71drjJ8PTyCcbai33Esy3Q",
  "version" : {
    "number" : "5.5.1",
    "build_hash" : "19c13d0",
    "build_date" : "2017-07-18T20:44:24.823Z",
    "build_snapshot" : false,
    "lucene_version" : "6.6.0"
  },
  "tagline" : "You Know, for Search"
}

Инсталирайте X-Pack за Elasticsearch

X-Pack is an Elastic Stack plug-in that provides many add on features such as security, alerting, monitoring, reporting, and graph capabilities. X-Pack also provides user authentication for Elasticsearch and Kibana, as well as monitoring of different nodes in Kibana. It is important that X-Pack and Elasticsearch are installed with the same version.

You can install X-Pack for Elasticsearch directly by running:

cd /usr/share/elasticsearch
sudo bin/elasticsearch-plugin install x-pack

To continue the installation, enter y when prompted. This command will install the X-Pack plugin to your system. When installed, X-Pack enables authentication for Elasticsearch. The default username is elastic and password is changeme. You can check if authentication is enabled by running the same command you ran to check if Elasticsearch is working.

curl -XGET 'localhost:9200/?pretty'

Now the output will say that authentication has failed.

user@vultr:~# curl -XGET 'localhost:9200/?pretty'
{
  "error" : {
    "root_cause" : [
      {
        "type" : "security_exception",
        "reason" : "missing authentication token for REST request [/?pretty]",
        "header" : {
          "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
        }
      }
    ],
    "type" : "security_exception",
    "reason" : "missing authentication token for REST request [/?pretty]",
    "header" : {
      "WWW-Authenticate" : "Basic realm=\"security\" charset=\"UTF-8\""
    }
  },
  "status" : 401
}

Change the default password changeme by running the following command.

curl -XPUT -u elastic:changeme 'localhost:9200/_xpack/security/user/elastic/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewElasticPassword"
}
'

Replace NewPassword with the actual password you want to use. You can check if the new password is set and Elasticsearch is working by running the following command.

curl -XGET -u elastic:NewElasticPassword 'localhost:9200/?pretty'    

You will see output showing the successful execution of the query.

Further, edit Elasticsearch configuration file by running:

sudo nano /etc/elasticsearch/elasticsearch.yml

Find the following lines, uncomment the lines and change them according to instructions provided.

#cluster.name: my-application    #Provide the name of your cluster
#node.name: node-1               #Provide the name of your node
#network.host: 192.168.0.1

For network.host, provide the private IP address assigned to the system. Restart the Elasticsearch instance by running:

sudo systemctl restart elasticsearch

Now, instead of localhost, you will need to use the IP address to run the query using curl.

curl -XGET -u elastic:NewElasticPassword '192.168.0.1:9200/?pretty'

Replace 192.168.0.1 with the actual private IP address of the server. Now that we have installed Elasticsearch, proceed further to install Kibana.

Step 4: Install Kibana

Kibana is used to visualize the logs and actionable insights using a web interface. It can also be used to manage Elasticsearch. It is recommended to install the same version of Kibana as Elasticsearch.

As we have already added the Elasticsearch repository and PGP key, we can install Kibana directly by running:

sudo apt -y install kibana

The previous command will install the latest version of Kibana on your system. Once Kibana has been installed, reload the Systemd service daemon by running:

sudo systemctl daemon-reload

You can start Kibana and enable it to automatically start at boot time by running:

sudo systemctl enable kibana
sudo systemctl start kibana

Install X-Pack for Kibana

You can install X-Pack for Kibana directly by running:

cd /usr/share/kibana
sudo bin/kibana-plugin install x-pack

X-Pack for Kibana has Graph, Machine Learning and Monitoring enabled by default. X-Pack also enables authentication for Kibana. The default username is kibana and password is changeme. It is important to change the default password of Kibana user. Run the following command to change the password.

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/kibana/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewKibanaPassword"
}
'

Replace 192.168.0.1 with the actual private IP address of the server and NewKibanaPassword with the new password for Kibana user.

Edit the Kibana configuration file by running:

sudo nano /etc/kibana/kibana.yml

Find the following lines and change the values according to instructions provided.

#elasticsearch.url: "http://localhost:9200"
#elasticsearch.username: "user"
#elasticsearch.password: "password"

Uncomment the lines above and, in elasticsearch.url provide the URL for Elasticsearch instance. The IP address must be the same IP that was used in elasticsearch.yml. Further, set the username from user to elastic and also provide the password of the elastic user which you have set earlier.

Restart the Kibana instance by running:

sudo systemctl restart kibana

Install Nginx as reverse proxy for Kibana

Since we are running Kibana on localhost at port 5601, it is recommended to setup a reverse proxy with Apache or Nginx to access Kibana from outside the local network. In this tutorial, we will setup Nginx as a reverse proxy for Kibana. We will also secure the Nginx instance with a Let's Encrypt free SSL certificate.

Install Nginx by running:

sudo apt -y install nginx

Start and enable Nginx to automatically start at boot time.

sudo systemctl start nginx
sudo systemctl enable nginx

Now that the Nginx web server is installed and running, we can proceed to install Certbot, which is the official and automatic Let's Encrypt certificate client. Add Certbot PPA to your system by running:

sudo add-apt-repository ppa:certbot/certbot

Update the repository meta information.

sudo apt update

Now you can easily install the latest version of Certbot by running:

sudo apt -y install python-certbot-nginx 

The previous command will resolve and install the required dependencies along with the Certbot package.

Now that we have Certbot installed, generate the certificates for your domain by running:

sudo certbot certonly --webroot -w /var/www/html/ -d kibana.example.com

Do not forget to change kibana.example.com with your actual domain name. The previous command will use the Certbot client. The certonly parameter tells the Certbot client to generate the certificates only. Using this option ensures that certificates are not automatically installed, and that Nginx configuration has not changed. Verification will be done by placing the challenge files in the specified webroot directory.

Certbot will ask you to provide your email address to send the renewal notice. You will also need to accept the license agreement.

To obtain certificates from Let's Encrypt CA, you must ensure that the domain for which the certificates you wish to generate are pointed towards the server. If not, then make the necessary changes to the DNS records of your domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

The generated certificates are likely to be stored in the /etc/letsencrypt/live/kibana.example.com/ directory. The SSL certificate will be stored as fullchain.pem and the private key will be stored as privkey.pem.

Сертификатите Let's Encrypt изтичат след 90 дни, поради което се препоръчва да настроите автоматично подновяване за сертификатите с помощта на cronjobs. Cron е системна услуга, която се използва за изпълнение на периодични задачи.

Отворете файла за задание на cron, като изпълните:

sudo crontab -e

Добавете следния ред в края на файла.

30 5 * * 1 /usr/bin/certbot renew -a nginx --quiet

Горната задача на cron ще се изпълнява всеки понеделник в 5:30 сутринта. Ако срокът на валидност на сертификата изтича, той автоматично ще ги поднови.

Редактирайте файла за виртуален хост по подразбиране за Nginx, като изпълните следната команда.

sudo nano /etc/nginx/sites-available/default

Заменете съществуващото съдържание със следното съдържание.

server {
    listen 80 default_server;
    server_name kibana.example.com
    return 301 https://$server_name$request_uri;
}

server {
    listen 443 default_server ssl http2;

    server_name kibana.example.com;

    ssl_certificate           /etc/letsencrypt/live/kibana.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/kibana.example.com/privkey.pem;

    ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
    ssl_prefer_server_ciphers on;
    ssl_ciphers "EECDH+AESGCM:EDH+AESGCM:AES256+EECDH:AES256+EDH";
    ssl_ecdh_curve secp384r1;
    ssl_session_cache shared:SSL:10m;
    ssl_session_tickets off;
    ssl_stapling on;
    ssl_stapling_verify on;
    resolver 8.8.8.8 8.8.4.4 valid=300s;
    resolver_timeout 5s;
    add_header Strict-Transport-Security "max-age=63072000; includeSubdomains";
    add_header X-Frame-Options DENY;
    add_header X-Content-Type-Options nosniff;

    location / {
        proxy_pass http://localhost:5601;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection 'upgrade';
        proxy_set_header Host $host;
        proxy_cache_bypass $http_upgrade;
    }
}

Уверете се, че актуализирате kibana.example.comс действителното си име на домейн, също така проверете пътя до SSL сертификата и частния ключ.

Рестартирайте уеб сървъра на Nginx, като изпълните:

sudo systemctl restart nginx

Ако всичко е конфигурирано правилно, ще видите екрана за влизане в Kibana. Влезте с потребителско име kibanaи парола, които сте задали. Трябва да можете да влезете успешно и да видите таблото за управление на Kibana. Оставете таблото за управление, засега ще го конфигурираме по-късно.

Инсталирайте Logstash

Logstash може да бъде инсталиран и чрез официалното хранилище на Elasticsearch, което добавихме по-рано. Инсталирайте Logstash, като изпълните:

sudo apt -y install logstash

Горната команда ще инсталира най-новата версия на Logstash на вашата система. След като Logstash бъде инсталиран, презаредете демона на услугата Systemd, като изпълните:

sudo systemctl daemon-reload

Стартирайте Logstash и го активирайте да стартира автоматично при стартиране.

sudo systemctl enable logstash
sudo systemctl start logstash

Инсталирайте X-Pack за Logstash

Можете да инсталирате X-Pack за Logstash директно, като изпълните:

cd /usr/share/logstash
sudo bin/logstash-plugin install x-pack

X-Pack за Logstash идва с потребител по подразбиране logstash_system. Можете да нулирате паролата, като изпълните:

curl -XPUT -u elastic '192.168.0.1:9200/_xpack/security/user/logstash_system/_password?pretty' -H 'Content-Type: application/json' -d'
{
  "password": "NewLogstashPassword"
}
'

Заменете 192.168.0.1с действителния частен IP адрес на сървъра и NewLogstashPasswordс новата парола за потребител на Logstash.

Сега рестартирайте услугата Logstash, като изпълните:

sudo systemctl restart logstash

Редактирайте конфигурационния файл на Logstash, като изпълните:

sudo nano /etc/logstash/logstash.yml

Добавете следните редове в края на файла, за да активирате наблюдението на екземпляра Logstash.

xpack.monitoring.enabled: true
xpack.monitoring.elasticsearch.url: http://192.168.0.1:9200
xpack.monitoring.elasticsearch.username: logstash_system
xpack.monitoring.elasticsearch.password: NewLogstashPassword

Заменете URL адреса на Elasticsearch и паролата за Logstash според вашата настройка.

Вече можете да конфигурирате Logstash да получава данни с помощта на различни Beats. Налични са няколко вида Beats: Packetbeat, Metricbeat, Filebeat, Winlogbeat и Heartbeat. Ще трябва да инсталирате всеки Beat поотделно.

Заключение

В този урок инсталирахме Elastic Stack с X-Pack на Ubuntu 17.04. Основен ELK стек вече е инсталиран на вашия сървър.