Ako nainštalovať Apache Zeppelin na Ubuntu 16.04

Apache Zeppelin je webový notebook s otvoreným zdrojovým kódom a nástroj na spoluprácu na interaktívne prijímanie údajov, ich zisťovanie, analýzu a vizualizáciu. Zeppelin podporuje viac ako 20 jazykov vrátane Apache Spark, SQL, R, Elasticsearch a mnohých ďalších. Apache Zeppelin vám umožňuje vytvárať nádherné dokumenty založené na údajoch a vidieť výsledky vašich analýz.

Predpoklady

• Inštancia servera Vultr Ubuntu 16.04.
• Sudo používateľ .
• Názov domény nasmerovaný na server.

V tomto návode použijeme zeppelin.example.com názov domény smerujúci k inštancii Vultr. Uistite sa, že ste nahradili všetky výskyty vzorového názvu domény skutočným.

Aktualizujte svoj základný systém pomocou príručky Ako aktualizovať Ubuntu 16.04 . Po aktualizácii systému pokračujte v inštalácii Java.

Nainštalujte Java

Apache Zeppelin je napísaný v jazyku Java, takže na fungovanie vyžaduje JDK. Pridajte úložisko Ubuntu pre Oracle Java 8.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Nainštalujte Oracle Java.

sudo apt -y install oracle-java8-installer

Overte si jeho verziu.

java -version

Uvidíte nasledujúci výstup.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Nastavte predvolenú cestu pre Java inštaláciou nasledujúceho balíka.

sudo apt -y install oracle-java8-set-default

Či JAVA_HOMEje nastavené, môžete overiť spustením.

echo $JAVA_HOME

Uvidíš.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Ak nevidíte žiadny výstup, budete sa musieť odhlásiť z aktuálneho shellu a znova sa prihlásiť.

Nainštalujte Zeppelin

Apache Zeppelin dodáva všetky závislosti spolu s binárnymi súbormi, takže okrem Java nemusíme inštalovať nič iné. Stiahnite si binárny súbor Zeppelin do vášho systému. Najnovšiu verziu aplikácie vždy nájdete na stránke sťahovania Zeppelin .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Rozbaľte archív.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Vyššie uvedený príkaz rozbalí archív do /opt/zeppelin-0.7.3-bin-all. Z dôvodu pohodlia premenujte adresár.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin je teraz nainštalovaný. Aplikáciu môžete okamžite spustiť, ale nebude vám prístupná, pretože iba počúva localhost. Nakonfigurujeme Apache Zeppelin ako službu. Nakonfigurujeme tiež Nginx ako reverzný proxy.

Nakonfigurujte Systemd

V tomto kroku nastavíme súbor jednotiek Systemd pre aplikáciu Zeppelin. Tým sa zabezpečí, že proces aplikácie sa automaticky spustí pri reštarte systému a zlyhaniach.

Z bezpečnostných dôvodov vytvorte neprivilegovaného používateľa na spustenie procesu Zeppelin.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Poskytnite vlastníctvo súborov novovytvorenému používateľovi Zeppelin.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Vytvorte nový súbor servisnej jednotky Systemd.

sudo nano /etc/systemd/system/zeppelin.service

Naplňte súbor nasledujúcim.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Spustite aplikáciu.

sudo systemctl start zeppelin

Povoľte automatické spustenie služby Zeppelin pri spustení systému.

sudo systemctl enable zeppelin

Aby ste sa uistili, že služba beží, môžete spustiť nasledujúce.

sudo systemctl status zeppelin

Konfigurácia reverzného proxy

Server Zeppelin štandardne počúva localhost na porte 8080. Nginx budeme používať ako reverzný proxy, aby bolo možné pristupovať k aplikácii cez štandard HTTP a HTTPS porty. Nakonfigurujeme tiež Nginx tak, aby používal SSL vygenerovaný pomocou Let's Encrypt bezplatnej SSL CA.

Nainštalujte Nginx.

sudo apt -y install nginx

Spustite Nginx a povoľte jej automatické spustenie pri štarte.

sudo systemctl start nginx
sudo systemctl enable nginx

Pridajte úložisko Certbot.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Nainštalujte Certbot, čo je klientska aplikácia pre Let's Encrypt CA.

sudo apt -y install certbot

Note: To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Generate the SSL certificates.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

The generated certificates are likely to be stored in /etc/letsencrypt/live/zeppelin.example.com/. The SSL certificate will be stored as fullchain.pem and private key will be stored as privkey.pem.

Let's Encrypt certificates expire in 90 days, hence it is recommended to set up auto-renewal of the certificates using Cron jobs.

Open the cron job file.

sudo crontab -e

Add the following line at the end of the file.

30 5 * * * /usr/bin/certbot renew --quiet

Vyššie uvedená úloha cron sa spustí každý deň o 5:30. Ak platnosť certifikátu vyprší, automaticky sa obnoví.

Vytvorte nový blokový súbor servera pre lokalitu Zeppelin.

sudo nano /etc/nginx/sites-available/zeppelin

Vyplňte súbor.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Aktivujte konfiguračný súbor.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Reštartujte Nginx, aby sa zmeny prejavili.

sudo systemctl restart nginx zeppelin

Zeppelin je teraz dostupný na nasledujúcej adrese.

https://zeppelin.example.com

V predvolenom nastavení nie je povolené žiadne overovanie, takže aplikáciu môžete používať priamo.

Keďže je aplikácia prístupná pre každého, vami vytvorené poznámkové bloky sú prístupné každému. Je veľmi dôležité zakázať anonymný prístup a povoliť autentifikáciu, aby k aplikácii mali prístup iba overení používatelia.

Zakázať anonymný prístup

Ak chcete zakázať predvolený anonymný prístup, skopírujte šablónu konfiguračného súboru do jej aktuálneho umiestnenia.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Upravte konfiguračný súbor.

sudo nano conf/zeppelin-site.xml

Nájdite v súbore nasledujúce riadky.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Zmeňte hodnotu na, false aby ste zakázali anonymný prístup.

Povoliť overenie Shiro

Teraz, keď sme zakázali anonymný prístup, musíme povoliť nejaký druh autentifikačného mechanizmu, aby sa privilegovaní používatelia mohli prihlásiť. Apache Zeppelin používa autentifikáciu Apache Shiro. Skopírujte konfiguračný súbor Shiro.

sudo cp conf/shiro.ini.template conf/shiro.ini

Upravte konfiguračný súbor.

sudo nano conf/shiro.ini

Nájdite v súbore nasledujúce riadky.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Zoznam obsahuje používateľské meno, heslo a roly používateľov. Zatiaľ budeme používať len admin a user1. Zmeňte heslo admin a user1 a deaktivujte ostatných používateľov ich komentovaním. Môžete tiež zmeniť používateľské meno a roly používateľov. Ak sa chcete dozvedieť viac o používateľoch a rolách Apache Shiro, prečítajte si príručku autorizácie Shiro .

Po zmene hesiel by sa blok kódu mal páčiť.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Teraz reštartujte Zeppelin, aby sa zmeny uplatnili.

sudo systemctl restart zeppelin

Uvidíte, že overenie bolo povolené a budete sa môcť prihlásiť pomocou používateľského mena a hesla nastaveného v konfiguračnom súbore Shiro.