Kaip įdiegti „Apache Zeppelin“ Ubuntu 16.04

„Apache Zeppelin“ yra internetinis atvirojo kodo bloknotas ir bendradarbiavimo įrankis, skirtas interaktyviam duomenų gavimui, atradimui, analizei ir vizualizavimui. Zeppelin palaiko daugiau nei 20 kalbų, įskaitant Apache Spark, SQL, R, Elasticsearch ir daugelį kitų. „Apache Zeppelin“ leidžia kurti gražius duomenimis pagrįstus dokumentus ir matyti analizės rezultatus.

Būtinos sąlygos

• „Vultr Ubuntu 16.04“ serverio egzempliorius.
• Sudo vartotojas .
• Domeno vardas nukreiptas į serverį.

Šioje pamokoje naudosime zeppelin.example.com kaip domeno pavadinimą, nukreiptą į Vultr egzempliorių. Būtinai pakeiskite visus pavyzdinio domeno pavadinimo atvejus tikruoju.

Atnaujinkite bazinę sistemą naudodami vadovą Kaip atnaujinti Ubuntu 16.04 . Kai sistema bus atnaujinta, tęskite „Java“ diegimą.

Įdiegti Java

„Apache Zeppelin“ yra parašyta „Java“, todėl norint, kad jis veiktų, reikalingas JDK. Pridėkite „Ubuntu“ saugyklą, skirtą „Oracle Java 8“.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Įdiekite „Oracle Java“.

sudo apt -y install oracle-java8-installer

Patikrinkite jo versiją.

java -version

Pamatysite tokią išvestį.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Įdiegę šį paketą, nustatykite numatytąjį Java kelią.

sudo apt -y install oracle-java8-set-default

Galite patikrinti, ar JAVA_HOMEnustatyta paleisdami.

echo $JAVA_HOME

Pamatysi.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Jei nematote išvesties, turėsite atsijungti nuo dabartinio apvalkalo ir vėl prisijungti.

Įdiekite Zeppelin

„Apache Zeppelin“ pristato visas priklausomybes kartu su dvejetainiais failais, todėl mums nereikia diegti nieko kito, išskyrus „Java“. Atsisiųskite Zeppelin dvejetainį failą į savo sistemą. Naujausią programos versiją visada galite rasti Zeppelin atsisiuntimo puslapyje .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Išskleiskite archyvą.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Aukščiau pateikta komanda išskleis archyvą į /opt/zeppelin-0.7.3-bin-all. Kad būtų patogiau, pervardykite katalogą.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Dabar įdiegtas „Apache Zeppelin“. Galite iš karto paleisti programą, tačiau ji jums nebus pasiekiama, nes ji localhosttik klauso . „Apache Zeppelin“ sukonfigūruosime kaip paslaugą. Taip pat sukonfigūruosime „Nginx“ kaip atvirkštinį tarpinį serverį.

Konfigūruoti Systemd

Šiame žingsnyje mes nustatysime Zeppelin programos Systemd vieneto failą. Tai užtikrins, kad paraiškos teikimo procesas būtų automatiškai pradėtas paleidus sistemą iš naujo ir atsiradus gedimams.

Saugumo sumetimais sukurkite neprivilegijuotą vartotoją Zeppelin procesui vykdyti.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Suteikti failų nuosavybės teisę naujai sukurtam Zeppelin vartotojui.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Sukurkite naują Systemd aptarnavimo vieneto failą.

sudo nano /etc/systemd/system/zeppelin.service

Užpildykite failą taip.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Paleiskite programą.

sudo systemctl start zeppelin

Įgalinkite Zeppelin paslaugą, kad ji būtų automatiškai paleista įkrovos metu.

sudo systemctl enable zeppelin

Norėdami užtikrinti, kad paslauga veikia, galite paleisti šiuos veiksmus.

sudo systemctl status zeppelin

Konfigūruoti atvirkštinį tarpinį serverį

Pagal numatytuosius nustatymus Zeppelin serveris klauso localhost prievado 8080. Nginx naudosime kaip atvirkštinį tarpinį serverį, kad programą būtų galima pasiekti per standartinius HTTP ir HTTPS prievadus. Taip pat sukonfigūruosime Nginx naudoti SSL, sugeneruotą naudojant nemokamą SSL CA.

Įdiekite „Nginx“.

sudo apt -y install nginx

Paleiskite Nginx ir įgalinkite jį automatiškai paleisti įkrovos metu.

sudo systemctl start nginx
sudo systemctl enable nginx

Pridėkite Certbot saugyklą.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Įdiekite „Certbot“, kuri yra „Let's Encrypt CA“ kliento programa.

sudo apt -y install certbot

Pastaba : norint gauti sertifikatus iš Let's Encrypt CA, domenas, kuriam turi būti generuojami sertifikatai, turi būti nukreiptas į serverį. Jei ne, atlikite reikiamus domeno DNS įrašų pakeitimus ir palaukite, kol DNS išplis, prieš vėl pateikdami sertifikato užklausą. „Certbot“ patikrina domeno instituciją prieš pateikdamas sertifikatus.

Sukurkite SSL sertifikatus.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

Sugeneruoti sertifikatai greičiausiai bus saugomi /etc/letsencrypt/live/zeppelin.example.com/. SSL sertifikatas bus saugomas kaip , fullchain.pem o privatus raktas bus saugomas kaip privkey.pem.

„Encrypt“ sertifikatai baigiasi po 90 dienų, todėl rekomenduojama nustatyti automatinį sertifikatų atnaujinimą naudojant „Cron“ užduotis.

Atidarykite cron darbo failą.

sudo crontab -e

Failo pabaigoje pridėkite šią eilutę.

30 5 * * * /usr/bin/certbot renew --quiet

Pirmiau nurodytas cron darbas bus vykdomas kiekvieną dieną 5:30 val. Jei baigiasi sertifikato galiojimo laikas, jis automatiškai atnaujinamas.

Sukurkite naują serverio bloko failą Zeppelin svetainei.

sudo nano /etc/nginx/sites-available/zeppelin

Užpildykite failą.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Suaktyvinkite konfigūracijos failą.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Iš naujo paleiskite „Nginx“, kad pakeitimai įsigaliotų.

sudo systemctl restart nginx zeppelin

Zeppelin dabar pasiekiamas šiuo adresu.

https://zeppelin.example.com

Pagal numatytuosius nustatymus autentifikavimas neįjungtas, todėl programą galite naudoti tiesiogiai.

Kadangi programa yra prieinama visiems, jūsų sukurti bloknotai taip pat yra prieinami visiems. Labai svarbu išjungti anoniminę prieigą ir įjungti autentifikavimą, kad tik autentifikuoti vartotojai galėtų pasiekti programą.

Išjungti anoniminę prieigą

Norėdami išjungti numatytąją anoniminę prieigą, nukopijuokite konfigūracijos failo šabloną į jo vietą.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Redaguokite konfigūracijos failą.

sudo nano conf/zeppelin-site.xml

Raskite šias eilutes faile.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Pakeiskite reikšmę į, false kad išjungtumėte anoniminę prieigą.

Įgalinti Shiro autentifikavimą

Dabar, kai išjungėme anoniminę prieigą, turime įjungti tam tikrą autentifikavimo mechanizmą, kad privilegijuoti vartotojai galėtų prisijungti. Apache Zeppelin naudoja Apache Shiro autentifikavimą. Nukopijuokite Shiro konfigūracijos failą.

sudo cp conf/shiro.ini.template conf/shiro.ini

Redaguokite konfigūracijos failą.

sudo nano conf/shiro.ini

Raskite šias eilutes faile.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Sąraše yra vartotojo vardas, slaptažodis ir vartotojų vaidmenys. Kol kas naudosime tik admin ir user1. Keisti slaptažodį admin ir user1 ir išjungti kitus vartotojus juos komentuodamas. Taip pat galite pakeisti vartotojo vardą ir vartotojų vaidmenis. Norėdami sužinoti daugiau apie Apache Shiro naudotojus ir vaidmenis, skaitykite Shiro autorizacijos vadovą .

Pakeitus slaptažodžius, kodų blokas turėtų patikti taip.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Dabar iš naujo paleiskite Zeppelin, kad pritaikytumėte pakeitimus.

sudo systemctl restart zeppelin

Pamatysite, kad autentifikavimas buvo įjungtas, ir galėsite prisijungti naudodami vartotojo vardą ir slaptažodį, nustatytus Shiro konfigūracijos faile.