Ako nainštalovať Apache Zeppelin na CentOS 7

Apache Zeppelin je webový notebook s otvoreným zdrojovým kódom a nástroj na spoluprácu na interaktívne prijímanie údajov, ich zisťovanie, analýzu a vizualizáciu. Zeppelin podporuje viac ako 20 jazykov vrátane Apache Spark, SQL, R, Elasticsearch a mnohých ďalších. Apache Zeppelin vám umožňuje vytvárať nádherné dokumenty založené na údajoch a vidieť výsledky vašich analýz.

Predpoklady

• Inštancia servera Vultr CentOS 7.
• Sudo používateľ .
• Názov domény nasmerovaný na server.

V tomto návode použijeme zeppelin.example.comnázov domény smerujúci k inštancii Vultr. Uistite sa, že ste nahradili všetky výskyty vzorového názvu domény skutočným.

Aktualizujte svoj základný systém pomocou príručky Ako aktualizovať CentOS 7 . Po aktualizácii systému pokračujte v inštalácii Java.

Nainštalujte Java

Apache Zeppelin je napísaný v jazyku Java, takže na fungovanie vyžaduje JDK. Stiahnite si balík Oracle SE JDK RPM.

wget --no-cookies --no-check-certificate --header "Cookie:oraclelicense=accept-securebackup-cookie" "http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.rpm"

Nainštalujte stiahnutý balík.

sudo yum -y localinstall jdk-8u151-linux-x64.rpm

Ak sa Java úspešne nainštalovala, mali by ste byť schopní overiť jej verziu.

java -version

Uvidíte nasledujúci výstup.

[user@vultr ~]$ java -version
java version "1.8.0_151"
Java(TM) SE Runtime Environment (build 1.8.0_151-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.151-b12, mixed mode)

Skôr ako budeme môcť pokračovať, budeme musieť nastaviť premenné prostredia JAVA_HOMEa JRE_HOME. Nájdite absolútnu cestu k spustiteľnému súboru JAVA vo vašom systéme.

readlink -f $(which java)

Uvidíte podobný výstup.

[user@vultr ~]$ readlink -f $(which java)
/usr/java/jdk1.8.0_151/jre/bin/java

Teraz nastavte premenné prostredia JAVA_HOMEa JRE_HOMEpodľa cesty k adresáru Java.

echo "export JAVA_HOME=/usr/java/jdk1.8.0_151" >> ~/.bash_profile
echo "export JRE_HOME=/usr/java/jdk1.8.0_151/jre" >> ~/.bash_profile

Spustite bash_profilesúbor.

source ~/.bash_profile

Teraz môžete spustiť echo $JAVA_HOMEpríkaz a skontrolovať, či je nastavená premenná prostredia.

[user@vultr ~]$ echo $JAVA_HOME
/usr/java/jdk1.8.0_151

Nainštalujte Zeppelin

Apache Zeppelin dodáva všetky závislosti spolu s binárnymi súbormi, takže okrem Java nemusíme inštalovať nič iné. Stiahnite si binárny súbor Zeppelin do vášho systému. Najnovšiu verziu aplikácie vždy nájdete na stránke sťahovania Zeppelin .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Rozbaľte archív.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Vyššie uvedený príkaz rozbalí archív do /opt/zeppelin-0.7.3-bin-all. Z dôvodu pohodlia premenujte adresár.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin je teraz nainštalovaný. Aplikáciu môžete okamžite spustiť, ale nebude vám prístupná, pretože iba počúva localhost. Nakonfigurujeme Apache Zeppelin ako službu. Webový server Nginx nakonfigurujeme aj ako reverzný proxy.

Nakonfigurujte službu Systemd

V tomto kroku nastavíme súbor jednotiek Systemd pre aplikáciu Zeppelin. Tým sa zabezpečí, že proces aplikácie sa automaticky spustí pri reštarte systému a zlyhaniach.

Z bezpečnostných dôvodov vytvorte neprivilegovaného používateľa na spustenie procesu Zeppelin.

sudo adduser -d /opt/zeppelin -s /sbin/nologin zeppelin

Poskytnite vlastníctvo súborov novovytvorenému používateľovi Zeppelin.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Vytvorte nový súbor servisnej jednotky Systemd.

sudo nano /etc/systemd/system/zeppelin.service

Naplňte súbor nasledujúcim.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Spustite aplikáciu.

sudo systemctl start zeppelin

Povoľte automatické spustenie služby Zeppelin pri spustení systému.

sudo systemctl enable zeppelin

Ak chcete skontrolovať, či je služba spustená, môžete spustiť nasledujúce.

sudo systemctl status zeppelin

Konfigurácia reverzného proxy

Server Zeppelin štandardne počúva localhostna porte 8080. V tomto návode použijeme Nginx ako reverzný proxy, aby bolo možné pristupovať k aplikácii cez štandard HTTPa HTTPSporty. Nakonfigurujeme tiež Nginx tak, aby používal SSL generovaný pomocou Let's Encrypt bezplatnej SSL CA.

Nainštalujte Nginx.

sudo yum -y install nginx

Spustite Nginx a povoľte jej automatické spustenie pri štarte.

sudo systemctl start nginx
sudo systemctl enable nginx

Nainštalujte Certbot, čo je klientska aplikácia pre Let's Encrypt CA.

sudo yum -y install certbot

Predtým, ako budete môcť požiadať o certifikáty, budete musieť povoliť port 80a/ 443alebo štandard HTTPa HTTPSslužby cez bránu firewall.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --reload

Note: To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Generate the SSL certificates.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d zeppelin.example.com

The generated certificates are likely to be stored in /etc/letsencrypt/live/zeppelin.example.com/. The SSL certificate will be stored as fullchain.pem and private key will be stored as privkey.pem.

Let's Encrypt certificates expire in 90 days, hence it is recommended to set up auto-renewal of the certificates using Cron jobs.

Open the cron job file.

sudo crontab -e

Add the following line at the end of the file.

30 5 * * * /usr/bin/certbot renew --quiet

Vyššie uvedená úloha cron sa spustí každý deň o 5:30. Ak má certifikát vypršať, automaticky ho obnoví.

Vytvorte nový blokový súbor servera pre lokalitu Zeppelin.

sudo nano /etc/nginx/conf.d/zeppelin.example.com.conf

Vyplňte súbor.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Reštartujte Nginx, aby sa zmeny prejavili.

sudo systemctl restart nginx zeppelin

Zeppelin je teraz dostupný na nasledujúcej adrese.

https://zeppelin.example.com

V predvolenom nastavení nie je povolené žiadne overovanie, takže aplikáciu môžete používať priamo.

Keďže je aplikácia prístupná pre každého, vami vytvorené poznámkové bloky sú prístupné každému. Je veľmi dôležité zakázať anonymný prístup a povoliť autentifikáciu, aby k aplikácii mali prístup iba overení používatelia.

Zakázať anonymný prístup

Ak chcete zakázať predvolený anonymný prístup, skopírujte šablónu konfiguračného súboru do jej aktuálneho umiestnenia.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Upravte konfiguračný súbor.

sudo nano conf/zeppelin-site.xml

Nájdite v súbore nasledujúce riadky.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Zmeňte hodnotu na, falseaby ste zakázali anonymný prístup.

Povoliť overenie Shiro

Teraz, keď sme zakázali anonymný prístup, musíme povoliť nejaký druh autentifikačného mechanizmu, aby sa privilegovaní používatelia mohli prihlásiť. Apache Zeppelin používa autentifikáciu Apache Shiro. Skopírujte konfiguračný súbor Shiro.

sudo cp conf/shiro.ini.template conf/shiro.ini

Upravte konfiguračný súbor.

sudo nano conf/shiro.ini

Nájdite v súbore nasledujúce riadky.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

Zoznam obsahuje používateľské meno, heslo a roly používateľov. Zatiaľ budeme používať len admina user1. Zmeňte heslo admina user1a deaktivujte ostatných používateľov ich komentovaním. Môžete tiež zmeniť používateľské meno a roly používateľov. Ak sa chcete dozvedieť viac o používateľoch a rolách Apache Shiro, prečítajte si príručku autorizácie Shiro .

Po zmene hesiel by mal blok kódu vyzerať takto.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Teraz reštartujte Zeppelin, aby sa zmeny uplatnili.

sudo systemctl restart zeppelin

Mali by ste vidieť, že overenie bolo povolené a budete sa môcť prihlásiť pomocou používateľského mena a hesla nastaveného v konfiguračnom súbore Shiro.