Як встановити Apache Zeppelin на CentOS 7

Apache Zeppelin — це веб-блокнот із відкритим вихідним кодом і інструмент для співпраці для інтерактивного прийому, виявлення, аналітики та візуалізації даних. Zeppelin підтримує понад 20 мов, включаючи Apache Spark, SQL, R, Elasticsearch та багато інших. Apache Zeppelin дозволяє створювати красиві документи на основі даних і бачити результати вашої аналітики.

Передумови

• Примірник сервера Vultr CentOS 7.
• Користувач sudo .
• Доменне ім’я, спрямоване на сервер.

У цьому підручнику ми будемо використовувати zeppelin.example.comяк доменне ім’я, спрямоване на екземпляр Vultr. Будь ласка, не забудьте замінити всі входження прикладу доменного імені на фактичне.

Оновіть свою базову систему за допомогою посібника Як оновити CentOS 7 . Після оновлення системи перейдіть до встановлення Java.

Встановіть Java

Apache Zeppelin написаний на Java, тому для роботи потрібен JDK. Завантажте пакет Oracle SE JDK RPM.

wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.rpm"

Встановіть завантажений пакет.

sudo yum -y localinstall jdk-8u151-linux-x64.rpm

Якщо Java встановилася успішно, ви зможете перевірити її версію.

java -version

Ви побачите наступний висновок.

[user@vultr ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Перш ніж ми зможемо продовжити, нам потрібно буде налаштувати змінні середовища JAVA_HOMEта JRE_HOME. Знайдіть абсолютний шлях до виконуваного файлу JAVA у вашій системі.

readlink -f $(which java)

Ви побачите подібний вихід.

[user@vultr ~]$ readlink -f $(which java)
/usr/java/jdk1.8.0_151/jre/bin/java

Тепер встановіть змінні середовища JAVA_HOMEта JRE_HOMEвідповідно до шляху до каталогу Java.

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_151/jre" >> ~/.bash_profile

Виконайте bash_profileфайл.

source ~/.bash_profile

Тепер ви можете запустити echo $JAVA_HOMEкоманду, щоб перевірити, чи встановлено змінну середовища.

[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_151

Встановіть Zeppelin

Apache Zeppelin поставляє всі залежності разом із двійковими файлами, тому нам не потрібно встановлювати нічого, крім Java. Завантажте двійковий файл Zeppelin у вашу систему. Ви завжди можете знайти останню версію програми на сторінці завантаження Zeppelin .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Розпакуйте архів.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Наведена вище команда розпакує архів до /opt/zeppelin-0.7.3-bin-all. Перейменуйте каталог для зручності.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin зараз встановлено. Ви можете відразу запустити програму, але вона не буде для вас доступною, оскільки вона localhostтільки слухає . Ми налаштуємо Apache Zeppelin як сервіс. Ми також налаштуємо веб-сервер Nginx як зворотний проксі.

Налаштуйте службу Systemd

На цьому кроці ми налаштуємо файл модуля Systemd для програми Zeppelin. Це забезпечить автоматичне запуск процесу застосування при перезавантаженні системи та збоях.

З міркувань безпеки створіть непривілейованого користувача для запуску процесу Zeppelin.

sudo adduser -d /opt/zeppelin -s /sbin/nologin zeppelin

Надайте право власності на файли новоствореному користувачеві Zeppelin.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Створіть новий файл служби Systemd.

sudo nano /etc/systemd/system/zeppelin.service

Заповніть файл наступним.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Запустіть програму.

sudo systemctl start zeppelin

Увімкніть службу Zeppelin для автоматичного запуску під час завантаження.

sudo systemctl enable zeppelin

Щоб перевірити, чи працює служба, ви можете виконати наступне.

sudo systemctl status zeppelin

Налаштувати зворотний проксі

За замовчуванням сервер Zeppelin прослуховує localhostпорт 8080. У цьому підручнику ми будемо використовувати Nginx як зворотний проксі-сервер, щоб до програми можна було отримати доступ через стандарт HTTPі HTTPSпорти. Ми також налаштуємо Nginx на використання SSL, створеного за допомогою Let's Encrypt безкоштовного SSL CA.

Встановіть Nginx.

sudo yum -y install nginx

Запустіть Nginx і ввімкніть його автоматичний запуск під час завантаження.

sudo systemctl start nginx
sudo systemctl enable nginx

Установіть Certbot, який є клієнтською програмою для Let's Encrypt CA.

sudo yum -y install certbot

Перш ніж ви зможете запитати сертифікати, вам потрібно буде дозволити порт 80і/ 443або стандарт HTTPі HTTPSслужби через брандмауер.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --reload

Примітка : щоб отримати сертифікати від Let's Encrypt CA, домен, для якого мають бути створені сертифікати, має бути спрямований на сервер. Якщо ні, внесіть необхідні зміни в записи DNS домену та зачекайте, поки DNS пошириться, перш ніж знову надсилати запит на сертифікат. Certbot перевіряє авторитет домену перед наданням сертифікатів.

Згенеруйте сертифікати SSL.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d zeppelin.example.com

Згенеровані сертифікати, ймовірно, зберігатимуться в /etc/letsencrypt/live/zeppelin.example.com/. Сертифікат SSL буде збережено як, fullchain.pemа закритий ключ – як privkey.pem.

Термін дії сертифікатів Let's Encrypt закінчується через 90 днів, тому рекомендується налаштувати автоматичне оновлення сертифікатів за допомогою завдань Cron.

Відкрийте файл завдання cron.

sudo crontab -e

Додайте наступний рядок у кінці файлу.

30 5 * * * /usr/bin/certbot renew --quiet

Вищезазначене завдання cron виконуватиметься щодня о 5:30 ранку. Якщо термін дії сертифіката закінчився, він автоматично поновить його.

Створіть новий файл блоку сервера для сайту Zeppelin.

sudo nano /etc/nginx/conf.d/zeppelin.example.com.conf

Заповніть файл.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Перезапустіть Nginx, щоб зміни вступили в силу.

sudo systemctl restart nginx zeppelin

Zeppelin тепер доступний за такою адресою.

https://zeppelin.example.com

За замовчуванням автентифікація не ввімкнена, тому ви можете використовувати програму безпосередньо.

Оскільки програма доступна для всіх, створені вами блокноти також доступні кожному. Дуже важливо вимкнути анонімний доступ та ввімкнути автентифікацію, щоб лише автентифіковані користувачі могли отримати доступ до програми.

Вимкніть анонімний доступ

Щоб вимкнути анонімний доступ за замовчуванням, скопіюйте шаблон файлу конфігурації до його реального розташування.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Відредагуйте файл конфігурації.

sudo nano conf/zeppelin-site.xml

Знайдіть у файлі наступні рядки.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Змініть значення на, falseщоб вимкнути анонімний доступ.

Увімкнути автентифікацію Shiro

Тепер, коли ми вимкнули анонімний доступ, нам потрібно ввімкнути якийсь механізм аутентифікації, щоб привілейовані користувачі могли входити в систему. Apache Zeppelin використовує автентифікацію Apache Shiro. Скопіюйте файл конфігурації Shiro.

sudo cp conf/shiro.ini.template conf/shiro.ini

Відредагуйте файл конфігурації.

sudo nano conf/shiro.ini

Знайдіть у файлі наступні рядки.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Список містить ім’я користувача, пароль і ролі користувачів. Наразі ми будемо використовувати лише adminта user1. Зміна пароля adminі user1і відключити інших користувачів, коментуючи їх. Ви також можете змінити ім’я користувача та ролі користувачів. Щоб дізнатися більше про користувачів і ролі Apache Shiro, прочитайте посібник із авторизації Shiro .

Після того, як ви змінили паролі, блок коду має виглядати так.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Тепер перезапустіть Zeppelin, щоб застосувати зміни.

sudo systemctl restart zeppelin

Ви повинні побачити, що автентифікація ввімкнена, і ви зможете ввійти, використовуючи ім’я користувача та пароль, встановлені у файлі конфігурації Shiro.