Hvernig á að setja upp Apache Zeppelin á Ubuntu 16.04

Apache Zeppelin er nettengd opinn minnisbók og samvinnuverkfæri fyrir gagnvirka inntöku gagna, uppgötvun, greiningu og sjónræningu. Zeppelin styður meira en 20 tungumál þar á meðal Apache Spark, SQL, R, Elasticsearch og margt fleira. Apache Zeppelin gerir þér kleift að búa til falleg gagnadrifin skjöl og sjá niðurstöður greiningar þinna.

Forkröfur

• Vultr Ubuntu 16.04 netþjónstilvik.
• A sudo notandi .
• Lén vísaði í átt að þjóninum.

Fyrir þessa kennslu munum við nota zeppelin.example.com sem lén sem vísar í átt að Vultr tilvikinu. Vinsamlega vertu viss um að skipta út öllum tilfellum af dæmi léninu fyrir hið raunverulega.

Uppfærðu grunnkerfið þitt með því að nota handbókina Hvernig á að uppfæra Ubuntu 16.04 . Þegar kerfið þitt hefur verið uppfært skaltu halda áfram að setja upp Java.

Settu upp Java

Apache Zeppelin er skrifað í Java, þannig að það þarf JDK til að virka. Bættu við Ubuntu geymslunni fyrir Oracle Java 8.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Settu upp Oracle Java.

sudo apt -y install oracle-java8-installer

Staðfestu útgáfu þess.

java -version

Þú munt sjá eftirfarandi úttak.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Stilltu sjálfgefna slóð fyrir Java með því að setja upp eftirfarandi pakka.

sudo apt -y install oracle-java8-set-default

Þú getur staðfest hvort JAVA_HOMEer stillt með því að keyra.

echo $JAVA_HOME

Þú munt sjá.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Ef þú sérð alls ekkert úttak þarftu að skrá þig út úr núverandi skel og skrá þig aftur inn.

Settu upp Zeppelin

Apache Zeppelin sendir allar ósjálfstæðin ásamt tvíundarskránum, svo við þurfum ekki að setja upp neitt annað nema Java. Sæktu Zeppelin tvöfaldann á kerfið þitt. Þú getur alltaf fundið nýjustu útgáfuna af forritinu á Zeppelin niðurhalssíðunni .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Dragðu út skjalasafnið.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Ofangreind skipun mun draga út skjalasafnið í /opt/zeppelin-0.7.3-bin-all. Endurnefna möppuna til þæginda.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin er nú sett upp. Þú getur ræst forritið strax, en það verður ekki aðgengilegt þér þar sem það hlustar localhostaðeins á það. Við munum stilla Apache Zeppelin sem þjónustu. Við munum einnig stilla Nginx sem öfugt umboð.

Stilla Systemd

Í þessu skrefi munum við setja upp Systemd einingaskrá fyrir Zeppelin forritið. Þetta mun tryggja að umsóknarferlið sé sjálfkrafa ræst við endurræsingu kerfisins og bilanir.

Af öryggisástæðum skaltu búa til óforréttinda notanda til að keyra Zeppelin ferlið.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Veita eignarhald á skránum til nýstofnaðs Zeppelin notanda.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Búðu til nýja Systemd þjónustueiningaskrá.

sudo nano /etc/systemd/system/zeppelin.service

Fylltu skrána með eftirfarandi.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Ræstu forritið.

sudo systemctl start zeppelin

Virkjaðu Zeppelin þjónustu til að byrja sjálfkrafa við ræsingu.

sudo systemctl enable zeppelin

Til að tryggja að þjónustan sé í gangi geturðu keyrt eftirfarandi.

sudo systemctl status zeppelin

Stilla Reverse Proxy

Sjálfgefið er að Zeppelin þjónninn hlustar á localhost á port 8080. Við munum nota Nginx sem öfugt umboð svo hægt sé að nálgast forritið í gegnum staðlaða HTTP og HTTPS höfn. Við munum einnig stilla Nginx til að nota SSL sem er búið til með Let's Encrypt ókeypis SSL CA.

Settu upp Nginx.

sudo apt -y install nginx

Ræstu Nginx og gerðu það kleift að byrja sjálfkrafa við ræsingu.

sudo systemctl start nginx
sudo systemctl enable nginx

Bættu við Certbot geymslunni.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Settu upp Certbot, sem er biðlaraforritið fyrir Let's Encrypt CA.

sudo apt -y install certbot

Athugið : Til að fá vottorð frá Let's Encrypt CA verður lénið sem á að búa til skírteinin fyrir að vísa í átt að þjóninum. Ef ekki, gerðu nauðsynlegar breytingar á DNS-skrám lénsins og bíddu eftir að DNS breiðist út áður en þú gerir vottorðsbeiðnina aftur. Certbot athugar lénsvaldið áður en það gefur upp vottorðin.

Búðu til SSL vottorðin.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

Líklegt er að útbúin skírteini séu geymd í /etc/letsencrypt/live/zeppelin.example.com/. SSL vottorðið verður geymt sem fullchain.pem og einkalykill verður geymdur sem privkey.pem.

Við skulum dulkóða vottorð renna út eftir 90 daga, þess vegna er mælt með því að setja upp sjálfvirka endurnýjun skírteina með Cron störf.

Opnaðu cron vinnuskrána.

sudo crontab -e

Bættu við eftirfarandi línu í lok skráarinnar.

30 5 * * * /usr/bin/certbot renew --quiet

Ofangreint cron starf mun keyra á hverjum degi klukkan 5:30. Ef skírteinið á að renna út verður það sjálfkrafa endurnýjað.

Búðu til nýja netþjónablokkaskrá fyrir Zeppelin síðuna.

sudo nano /etc/nginx/sites-available/zeppelin

Fylltu út skrána.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Virkjaðu stillingarskrána.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Endurræstu Nginx svo breytingarnar geti tekið gildi.

sudo systemctl restart nginx zeppelin

Zeppelin er nú aðgengilegt á eftirfarandi heimilisfangi.

https://zeppelin.example.com

Sjálfgefið er að engin auðkenning er virkjuð, svo þú getur notað forritið beint.

Þar sem forritið er aðgengilegt öllum eru minnisbækurnar sem þú býrð til líka aðgengilegar öllum. Það er mjög mikilvægt að slökkva á nafnlausum aðgangi og virkja auðkenningu þannig að aðeins auðkenndir notendur hafi aðgang að forritinu.

Slökktu á nafnlausum aðgangi

Til að slökkva á sjálfgefnum nafnlausum aðgangi skaltu afrita stillingarskráarsniðmátið á lifandi staðsetningu þess.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Breyttu stillingarskránni.

sudo nano conf/zeppelin-site.xml

Finndu eftirfarandi línur í skránni.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Breyttu gildinu í til false að slökkva á nafnlausum aðgangi.

Virkjaðu Shiro Authentication

Nú þegar við höfum slökkt á nafnlausum aðgangi þurfum við að virkja einhvers konar auðkenningarkerfi svo að forréttindanotendur geti skráð sig inn. Apache Zeppelin notar Apache Shiro auðkenningu. Afritaðu Shiro stillingarskrána.

sudo cp conf/shiro.ini.template conf/shiro.ini

Breyttu stillingarskránni.

sudo nano conf/shiro.ini

Finndu eftirfarandi línur í skránni.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Listinn inniheldur notendanafn, lykilorð og hlutverk notenda. Í bili munum við aðeins nota admin og user1. Breyta lykilorðinu á admin og user1 og slökkva á aðra notendur með því að tjá þær. Þú getur líka breytt notendanafni og hlutverkum notenda. Til að læra meira um Apache Shiro notendur og hlutverk, lestu Shiro heimildahandbókina .

Þegar þú hefur breytt lykilorðunum ætti kóðablokkin að vera svona.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Endurræstu núna Zeppelin til að beita breytingunum.

sudo systemctl restart zeppelin

Þú munt sjá að auðkenningin hefur verið virkjuð og þú munt geta skráð þig inn með því að nota notandanafnið og lykilorðið sem sett er í Shiro stillingarskrána.