Jak nainstalovat Apache Zeppelin na Ubuntu 16.04

Apache Zeppelin je webový notebook s otevřeným zdrojovým kódem a nástroj pro spolupráci pro interaktivní příjem, zjišťování, analýzu a vizualizaci dat. Zeppelin podporuje více než 20 jazyků včetně Apache Spark, SQL, R, Elasticsearch a mnoha dalších. Apache Zeppelin vám umožňuje vytvářet krásné dokumenty založené na datech a prohlížet si výsledky své analýzy.

Předpoklady

• Instance serveru Vultr Ubuntu 16.04.
• Uživatel sudo .
• Název domény směřující k serveru.

V tomto tutoriálu použijeme zeppelin.example.com jako název domény směřující k instanci Vultr. Ujistěte se, že jste nahradili všechny výskyty vzorového názvu domény skutečným.

Aktualizujte svůj základní systém pomocí průvodce Jak aktualizovat Ubuntu 16.04 . Jakmile bude váš systém aktualizován, pokračujte v instalaci Javy.

Nainstalujte Javu

Apache Zeppelin je napsán v Javě, takže ke svému fungování vyžaduje JDK. Přidejte úložiště Ubuntu pro Oracle Java 8.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Nainstalujte Oracle Java.

sudo apt -y install oracle-java8-installer

Ověřte jeho verzi.

java -version

Uvidíte následující výstup.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Nastavte výchozí cestu pro Java instalací následujícího balíčku.

sudo apt -y install oracle-java8-set-default

Zda JAVA_HOMEje nastaveno, můžete ověřit spuštěním.

echo $JAVA_HOME

Uvidíš.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Pokud nevidíte vůbec žádný výstup, budete se muset odhlásit z aktuálního shellu a znovu se přihlásit.

Nainstalujte Zeppelin

Apache Zeppelin dodává všechny závislosti spolu s binárními soubory, takže kromě Javy nepotřebujeme instalovat nic jiného. Stáhněte si binární soubor Zeppelin do vašeho systému. Nejnovější verzi aplikace vždy najdete na stránce ke stažení Zeppelin .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Rozbalte archiv.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Výše uvedený příkaz rozbalí archiv do /opt/zeppelin-0.7.3-bin-all. Z důvodu pohodlí přejmenujte adresář.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin je nyní nainstalován. Aplikaci můžete okamžitě spustit, ale nebude vám přístupná, protože localhostpouze poslouchá . Nakonfigurujeme Apache Zeppelin jako službu. Nakonfigurujeme také Nginx jako reverzní proxy.

Konfigurace Systemd

V tomto kroku nastavíme soubor jednotky Systemd pro aplikaci Zeppelin. Tím zajistíte, že se proces aplikace automaticky spustí při restartu systému a selhání.

Z bezpečnostních důvodů vytvořte neprivilegovaného uživatele pro spuštění procesu Zeppelin.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Poskytněte vlastnictví souborů nově vytvořenému uživateli Zeppelin.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Vytvořte nový soubor servisní jednotky Systemd.

sudo nano /etc/systemd/system/zeppelin.service

Naplňte soubor následujícím.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Spusťte aplikaci.

sudo systemctl start zeppelin

Povolte automatické spouštění služby Zeppelin při spouštění.

sudo systemctl enable zeppelin

Chcete-li zajistit, že služba běží, můžete spustit následující.

sudo systemctl status zeppelin

Nakonfigurujte reverzní proxy

Ve výchozím nastavení server Zeppelin naslouchá localhost na portu 8080. Nginx použijeme jako reverzní proxy, aby bylo možné přistupovat k aplikaci přes standardní HTTP a HTTPS porty. Nakonfigurujeme také Nginx tak, aby používal SSL generovaný pomocí bezplatného SSL CA Let's Encrypt.

Nainstalujte Nginx.

sudo apt -y install nginx

Spusťte Nginx a povolte jeho automatické spouštění při spouštění.

sudo systemctl start nginx
sudo systemctl enable nginx

Přidejte úložiště Certbot.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Nainstalujte Certbot, což je klientská aplikace pro Let's Encrypt CA.

sudo apt -y install certbot

Poznámka : Chcete-li získat certifikáty od Let's Encrypt CA, doména, pro kterou mají být certifikáty vygenerovány, musí být nasměrována na server. Pokud ne, proveďte potřebné změny v záznamech DNS domény a počkejte, až se DNS rozšíří, než znovu požádáte o certifikát. Certbot před poskytnutím certifikátů zkontroluje autoritu domény.

Vygenerujte certifikáty SSL.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

Vygenerované certifikáty budou pravděpodobně uloženy ve formátu /etc/letsencrypt/live/zeppelin.example.com/. SSL certifikát bude uložen jako fullchain.pem a soukromý klíč bude uložen jako privkey.pem.

Platnost certifikátů Let's Encrypt vyprší za 90 dní, proto se doporučuje nastavit automatické obnovování certifikátů pomocí úloh Cron.

Otevřete soubor úlohy cron.

sudo crontab -e

Přidejte následující řádek na konec souboru.

30 5 * * * /usr/bin/certbot renew --quiet

Výše uvedená úloha cron se spustí každý den v 5:30. Pokud má platnost certifikátu vypršet, bude automaticky obnoven.

Vytvořte nový soubor bloku serveru pro web Zeppelin.

sudo nano /etc/nginx/sites-available/zeppelin

Vyplňte soubor.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Aktivujte konfigurační soubor.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Restartujte Nginx, aby se změny projevily.

sudo systemctl restart nginx zeppelin

Zeppelin je nyní dostupný na následující adrese.

https://zeppelin.example.com

Ve výchozím nastavení není povoleno žádné ověřování, takže aplikaci můžete používat přímo.

Vzhledem k tomu, že aplikace je přístupná všem, jsou také vámi vytvořené poznámkové bloky přístupné všem. Je velmi důležité zakázat anonymní přístup a povolit ověřování, aby k aplikaci měli přístup pouze ověření uživatelé.

Zakázat anonymní přístup

Chcete-li zakázat výchozí anonymní přístup, zkopírujte šablonu konfiguračního souboru do jejího aktuálního umístění.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Upravte konfigurační soubor.

sudo nano conf/zeppelin-site.xml

Najděte v souboru následující řádky.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Změnou hodnoty na false zakážete anonymní přístup.

Povolit Shiro autentizaci

Nyní, když jsme zakázali anonymní přístup, musíme povolit nějaký mechanismus ověřování, aby se privilegovaní uživatelé mohli přihlásit. Apache Zeppelin používá ověřování Apache Shiro. Zkopírujte konfigurační soubor Shiro.

sudo cp conf/shiro.ini.template conf/shiro.ini

Upravte konfigurační soubor.

sudo nano conf/shiro.ini

Najděte v souboru následující řádky.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Seznam obsahuje uživatelské jméno, heslo a role uživatelů. Prozatím budeme používat pouze admin a user1. Změňte heslo admin a user1 a deaktivujte ostatní uživatele tím, že je okomentujete. Můžete také změnit uživatelské jméno a role uživatelů. Chcete-li se dozvědět více o uživatelích a rolích Apache Shiro, přečtěte si autorizační příručku Shiro .

Jakmile změníte hesla, blok kódu by se měl líbit.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Nyní restartujte Zeppelin, aby se změny projevily.

sudo systemctl restart zeppelin

Uvidíte, že autentizace byla povolena a budete se moci přihlásit pomocí uživatelského jména a hesla nastaveného v konfiguračním souboru Shiro.