Hvernig á að setja upp Apache Zeppelin á CentOS 7

Apache Zeppelin er opinn uppspretta minnisbók á netinu og samvinnuverkfæri fyrir gagnvirka inntöku gagna, uppgötvun, greiningu og sjónræningu. Zeppelin styður 20+ tungumál þar á meðal Apache Spark, SQL, R, Elasticsearch og margt fleira. Apache Zeppelin gerir þér kleift að búa til falleg gagnadrifin skjöl og sjá niðurstöður greiningar þinna.

Forkröfur

• Vultr CentOS 7 netþjónstilvik.
• A sudo notandi .
• Lén vísaði í átt að þjóninum.

Fyrir þessa kennslu munum við nota zeppelin.example.comsem lén sem vísar í átt að Vultr tilvikinu. Vinsamlega vertu viss um að skipta út öllum tilfellum af dæmi léninu fyrir hið raunverulega.

Uppfærðu grunnkerfið þitt með því að nota handbókina Hvernig á að uppfæra CentOS 7 . Þegar kerfið þitt hefur verið uppfært skaltu halda áfram að setja upp Java.

Settu upp Java

Apache Zeppelin er skrifað í Java, þannig að það þarf JDK til að virka. Sæktu Oracle SE JDK RPM pakka.

wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.rpm"

Settu upp niðurhalaða pakkann.

sudo yum -y localinstall jdk-8u151-linux-x64.rpm

Ef Java hefur verið sett upp með góðum árangri, þá ættir þú að geta staðfest útgáfu þess.

java -version

Þú munt sjá eftirfarandi úttak.

[user@vultr ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Áður en við getum haldið áfram þurfum við að setja upp JAVA_HOMEog JRE_HOMEumhverfisbreyturnar. Finndu algera slóð JAVA executable í kerfinu þínu.

readlink -f $(which java)

Þú munt sjá svipaða framleiðsla.

[user@vultr ~]$ readlink -f $(which java)
/usr/java/jdk1.8.0_151/jre/bin/java

Stilltu nú JAVA_HOMEog JRE_HOMEumhverfisbreyturnar í samræmi við slóð Java möppunnar.

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_151/jre" >> ~/.bash_profile

Keyra bash_profileskrána.

source ~/.bash_profile

Nú geturðu keyrt echo $JAVA_HOMEskipunina til að athuga hvort umhverfisbreytan sé stillt.

[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_151

Settu upp Zeppelin

Apache Zeppelin sendir allar ósjálfstæðin ásamt tvíundarskránum, svo við þurfum ekki að setja upp neitt annað nema Java. Sæktu Zeppelin tvöfaldann á kerfið þitt. Þú getur alltaf fundið nýjustu útgáfuna af forritinu á Zeppelin niðurhalssíðunni .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Dragðu út skjalasafnið.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Ofangreind skipun mun draga út skjalasafnið í /opt/zeppelin-0.7.3-bin-all. Endurnefna möppuna til þæginda.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin er nú sett upp. Þú getur ræst forritið strax, en það verður ekki aðgengilegt þér þar sem það hlustar localhostaðeins á það. Við munum stilla Apache Zeppelin sem þjónustu. Við munum einnig stilla Nginx vefþjón sem öfugt umboð.

Stilla Systemd þjónustu

Í þessu skrefi munum við setja upp Systemd einingaskrá fyrir Zeppelin forritið. Þetta mun tryggja að umsóknarferlið sé sjálfkrafa ræst við endurræsingu kerfisins og bilanir.

Af öryggisástæðum skaltu búa til óforréttinda notanda til að keyra Zeppelin ferlið.

sudo adduser -d /opt/zeppelin -s /sbin/nologin zeppelin

Veita eignarhald á skránum til nýstofnaðs Zeppelin notanda.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Búðu til nýja Systemd þjónustueiningaskrá.

sudo nano /etc/systemd/system/zeppelin.service

Fylltu skrána með eftirfarandi.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Ræstu forritið.

sudo systemctl start zeppelin

Virkjaðu Zeppelin þjónustu til að byrja sjálfkrafa við ræsingu.

sudo systemctl enable zeppelin

Til að athuga hvort þjónustan sé í gangi geturðu keyrt eftirfarandi.

sudo systemctl status zeppelin

Stilla Reverse Proxy

Sjálfgefið er að Zeppelin þjónninn hlustar á localhostá port 8080. Í þessari kennslu munum við nota Nginx sem öfugt umboð svo hægt sé að nálgast forritið í gegnum staðlaða HTTPog HTTPShöfn. Við munum einnig stilla Nginx til að nota SSL sem er búið til með Let's Encrypt ókeypis SSL CA.

Settu upp Nginx.

sudo yum -y install nginx

Ræstu Nginx og gerðu það kleift að byrja sjálfkrafa við ræsingu.

sudo systemctl start nginx
sudo systemctl enable nginx

Settu upp Certbot, sem er biðlaraforritið fyrir Let's Encrypt CA.

sudo yum -y install certbot

Áður en þú getur beðið um skírteinin þarftu að leyfa port 80og 443eða staðal HTTPog HTTPSþjónustu í gegnum eldvegginn.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --reload

Athugið : Til að fá vottorð frá Let's Encrypt CA verður lénið sem á að búa til skírteinin fyrir að vísa í átt að þjóninum. Ef ekki, gerðu nauðsynlegar breytingar á DNS-skrám lénsins og bíddu eftir að DNS breiðist út áður en þú gerir vottorðsbeiðnina aftur. Certbot athugar lénsvaldið áður en það gefur upp vottorðin.

Búðu til SSL vottorðin.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d zeppelin.example.com

Líklegt er að útbúin skírteini séu geymd í /etc/letsencrypt/live/zeppelin.example.com/. SSL vottorðið verður geymt sem fullchain.pemog einkalykill verður geymdur sem privkey.pem.

Við skulum dulkóða vottorð renna út eftir 90 daga, þess vegna er mælt með því að setja upp sjálfvirka endurnýjun skírteina með Cron störf.

Opnaðu cron vinnuskrána.

sudo crontab -e

Bættu við eftirfarandi línu í lok skráarinnar.

30 5 * * * /usr/bin/certbot renew --quiet

Ofangreint cron starf mun keyra á hverjum degi klukkan 5:30. Ef skírteinið á að renna út mun það endurnýja það sjálfkrafa.

Búðu til nýja netþjónablokkaskrá fyrir Zeppelin síðuna.

sudo nano /etc/nginx/conf.d/zeppelin.example.com.conf

Fylltu út skrána.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Endurræstu Nginx svo breytingarnar geti tekið gildi.

sudo systemctl restart nginx zeppelin

Zeppelin er nú aðgengilegt á eftirfarandi heimilisfangi.

https://zeppelin.example.com

Sjálfgefið er að engin auðkenning er virkjuð, svo þú getur notað forritið beint.

Þar sem forritið er aðgengilegt öllum eru minnisbækurnar sem þú býrð til líka aðgengilegar öllum. Það er mjög mikilvægt að slökkva á nafnlausum aðgangi og virkja auðkenningu þannig að aðeins auðkenndir notendur hafi aðgang að forritinu.

Slökktu á nafnlausum aðgangi

Til að slökkva á sjálfgefnum nafnlausum aðgangi skaltu afrita stillingarskráarsniðmátið á lifandi staðsetningu þess.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Breyttu stillingarskránni.

sudo nano conf/zeppelin-site.xml

Finndu eftirfarandi línur í skránni.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Breyttu gildinu í til falseað slökkva á nafnlausum aðgangi.

Virkjaðu Shiro Authentication

Nú þegar við höfum slökkt á nafnlausum aðgangi þurfum við að virkja einhvers konar auðkenningarkerfi svo að forréttindanotendur geti skráð sig inn. Apache Zeppelin notar Apache Shiro auðkenningu. Afritaðu Shiro stillingarskrána.

sudo cp conf/shiro.ini.template conf/shiro.ini

Breyttu stillingarskránni.

sudo nano conf/shiro.ini

Finndu eftirfarandi línur í skránni.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Listinn inniheldur notendanafn, lykilorð og hlutverk notenda. Í bili munum við aðeins nota adminog user1. Breyta lykilorðinu á adminog user1og slökkva á aðra notendur með því að tjá þær. Þú getur líka breytt notendanafni og hlutverkum notenda. Til að læra meira um Apache Shiro notendur og hlutverk, lestu Shiro heimildahandbókina .

Þegar þú hefur breytt lykilorðunum ætti kóðablokkin að líta svona út.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Endurræstu núna Zeppelin til að beita breytingunum.

sudo systemctl restart zeppelin

Þú ættir að sjá að auðkenningin hefur verið virkjuð og þú munt geta skráð þig inn með því að nota notandanafnið og lykilorðið sem sett er í Shiro stillingarskrána.