Kuinka asentaa Apache Zeppelin Ubuntuun 16.04

Apache Zeppelin on verkkopohjainen avoimen lähdekoodin muistikirja ja yhteistyötyökalu vuorovaikutteiseen tiedon käsittelyyn, etsimiseen, analytiikkaan ja visualisointiin. Zeppelin tukee yli 20 kieltä, mukaan lukien Apache Spark, SQL, R, Elasticsearch ja monet muut. Apache Zeppelinin avulla voit luoda kauniita datapohjaisia ​​asiakirjoja ja nähdä analytiikkasi tulokset.

Edellytykset

• Vultr Ubuntu 16.04 -palvelinesiintymä.
• Sudo käyttäjä .
• Verkkotunnus osoitti palvelimeen.

Tässä opetusohjelmassa käytämme zeppelin.example.com Vultr-instanssia osoittavana verkkotunnuksena. Muista korvata kaikki esimerkkiverkkotunnuksen esiintymät todellisella nimellä.

Päivitä perusjärjestelmäsi Ubuntu 16.04:n päivittäminen -oppaan avulla . Kun järjestelmäsi on päivitetty, jatka Javan asentamista.

Asenna Java

Apache Zeppelin on kirjoitettu Java-kielellä, joten se vaatii JDK:n toimiakseen. Lisää Ubuntu-arkisto Oracle Java 8:lle.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Asenna Oracle Java.

sudo apt -y install oracle-java8-installer

Tarkista sen versio.

java -version

Näet seuraavan tulosteen.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Aseta Java-oletuspolku asentamalla seuraava paketti.

sudo apt -y install oracle-java8-set-default

Voit tarkistaa, onko JAVA_HOMEse asetettu suorittamalla.

echo $JAVA_HOME

Tulet näkemään.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Jos et näe tulostetta ollenkaan, sinun on kirjauduttava ulos nykyisestä kuoresta ja kirjauduttava takaisin sisään.

Asenna Zeppelin

Apache Zeppelin toimittaa kaikki riippuvuudet binääritiedostojen mukana, joten meidän ei tarvitse asentaa mitään muuta kuin Java. Lataa Zeppelin-binaari järjestelmääsi. Löydät aina sovelluksen uusimman version Zeppelinin lataussivulta .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Pura arkisto.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Yllä oleva komento purkaa arkiston kohteeseen /opt/zeppelin-0.7.3-bin-all. Nimeä hakemisto uudelleen mukavuuden vuoksi.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin on nyt asennettu. Voit käynnistää sovelluksen välittömästi, mutta se ei ole käytettävissäsi, koska se localhostvain kuuntelee . Määritämme Apache Zeppelinin palveluksi. Määritämme myös Nginxin käänteiseksi välityspalvelimeksi.

Määritä Systemd

Tässä vaiheessa määritämme Systemd-yksikkötiedoston Zeppelin-sovellukselle. Tämä varmistaa, että hakemusprosessi käynnistetään automaattisesti järjestelmän uudelleenkäynnistyksen ja vikojen yhteydessä.

Turvallisuussyistä luo etuoikeutettu käyttäjä Zeppelin-prosessin suorittamiseen.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Anna tiedostojen omistusoikeus juuri luodulle Zeppelin-käyttäjälle.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Luo uusi Systemd-huoltoyksikkötiedosto.

sudo nano /etc/systemd/system/zeppelin.service

Täytä tiedosto seuraavalla.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Käynnistä sovellus.

sudo systemctl start zeppelin

Ota Zeppelin-palvelu käyttöön käynnistymään automaattisesti käynnistyksen yhteydessä.

sudo systemctl enable zeppelin

Voit varmistaa palvelun toimivuuden suorittamalla seuraavan.

sudo systemctl status zeppelin

Määritä käänteinen välityspalvelin

Oletuksena Zeppelin-palvelin kuuntelee localhost portissa 8080. Käytämme Nginxiä käänteisenä välityspalvelimena, jotta sovellusta voidaan käyttää vakio- HTTP ja HTTPS porttien kautta. Määritämme myös Nginxin käyttämään SSL:ää, joka on luotu Let's Encrypt ilmaisella SSL CA:lla.

Asenna Nginx.

sudo apt -y install nginx

Käynnistä Nginx ja ota se käyttöön automaattisesti käynnistyksen yhteydessä.

sudo systemctl start nginx
sudo systemctl enable nginx

Lisää Certbot-arkisto.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Asenna Certbot, joka on Let's Encrypt CA:n asiakassovellus.

sudo apt -y install certbot

Huomautus : Jotta Let's Encrypt CA:lta saadaan varmenteita, toimialue, jolle sertifikaatit luodaan, on osoitettava palvelimeen. Jos ei, tee tarvittavat muutokset toimialueen DNS-tietueisiin ja odota DNS:n leviämistä ennen kuin teet varmennepyynnön uudelleen. Certbot tarkistaa toimialueen viranomaisen ennen varmenteiden toimittamista.

Luo SSL-varmenteet.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

Luodut varmenteet tallennetaan todennäköisesti kansioon /etc/letsencrypt/live/zeppelin.example.com/. SSL-varmenne tallennetaan nimellä fullchain.pem ja yksityinen avain muodossa privkey.pem.

Let's Encrypt -sertifikaatit vanhenevat 90 päivässä, joten on suositeltavaa määrittää varmenteiden automaattinen uusiminen Cron-töiden avulla.

Avaa cron-työtiedosto.

sudo crontab -e

Lisää seuraava rivi tiedoston loppuun.

30 5 * * * /usr/bin/certbot renew --quiet

Yllä oleva cron-työ suoritetaan joka päivä klo 5.30. Jos varmenteen voimassaolo päättyy, se uusitaan automaattisesti.

Luo uusi palvelinlohkotiedosto Zeppelin-sivustolle.

sudo nano /etc/nginx/sites-available/zeppelin

Täytä tiedosto.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Aktivoi asetustiedosto.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Käynnistä Nginx uudelleen, jotta muutokset tulevat voimaan.

sudo systemctl restart nginx zeppelin

Zeppelin on nyt saatavilla seuraavasta osoitteesta.

https://zeppelin.example.com

Oletuksena todennus ei ole käytössä, joten voit käyttää sovellusta suoraan.

Koska sovellus on kaikkien käytettävissä, luomasi muistikirjat ovat myös kaikkien käytettävissä. On erittäin tärkeää poistaa anonyymi pääsy käytöstä ja ottaa käyttöön todennus, jotta vain todennetut käyttäjät voivat käyttää sovellusta.

Poista anonyymi pääsy käytöstä

Voit poistaa anonyymin oletuskäytön käytöstä kopioimalla määritystiedoston mallin sen elävään sijaintiin.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Muokkaa asetustiedostoa.

sudo nano conf/zeppelin-site.xml

Etsi tiedostosta seuraavat rivit.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Muuta arvoksi false poistaaksesi anonyymin pääsyn.

Ota Shiro-todennus käyttöön

Nyt kun anonyymi pääsy on poistettu käytöstä, meidän on otettava käyttöön jonkinlainen todennusmekanismi, jotta etuoikeutetut käyttäjät voivat kirjautua sisään. Apache Zeppelin käyttää Apache Shiro -todennusta. Kopioi Shiron määritystiedosto.

sudo cp conf/shiro.ini.template conf/shiro.ini

Muokkaa asetustiedostoa.

sudo nano conf/shiro.ini

Etsi tiedostosta seuraavat rivit.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Luettelo sisältää käyttäjien käyttäjätunnukset, salasanat ja roolit. Käytämme toistaiseksi vain admin ja user1. Vaihda salasana admin ja user1 ja poistaa muiden käyttäjien kommentoimalla niitä. Voit myös muuttaa käyttäjien käyttäjänimiä ja rooleja. Saat lisätietoja Apache Shiron käyttäjistä ja rooleista lukemalla Shiron valtuutusoppaan .

Kun olet vaihtanut salasanat, koodilohkon pitäisi pitää tästä.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Käynnistä Zeppelin uudelleen ottaaksesi muutokset käyttöön.

sudo systemctl restart zeppelin

Näet, että todennus on otettu käyttöön, ja voit kirjautua sisään käyttämällä Shiro-määritystiedostossa asetettua käyttäjätunnusta ja salasanaa.