Sådan installeres Apache Zeppelin på Ubuntu 16.04

Apache Zeppelin er en webbaseret open source notesbog og samarbejdsværktøj til interaktiv dataindtagelse, opdagelse, analyse og visualisering. Zeppelin understøtter mere end 20 sprog inklusive Apache Spark, SQL, R, Elasticsearch og mange flere. Apache Zeppelin giver dig mulighed for at skabe smukke datadrevne dokumenter og se resultaterne af dine analyser.

Forudsætninger

• En Vultr Ubuntu 16.04-serverinstans.
• En sudo-bruger .
• Et domænenavn pegede mod serveren.

Til denne vejledning vil vi bruge zeppelin.example.com som domænenavnet pegede mod Vultr-forekomsten. Sørg for at erstatte alle forekomster af eksempeldomænenavnet med det faktiske.

Opdater dit basissystem ved hjælp af vejledningen Sådan opdaterer du Ubuntu 16.04 . Når dit system er blevet opdateret, skal du fortsætte med at installere Java.

Installer Java

Apache Zeppelin er skrevet i Java, så det kræver, at JDK virker. Tilføj Ubuntu-depotet til Oracle Java 8.

sudo add-apt-repository --yes ppa:webupd8team/java
sudo apt update

Installer Oracle Java.

sudo apt -y install oracle-java8-installer

Bekræft dens version.

java -version

Du vil se følgende output.

user@vultr:~$ java -version
java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

Indstil standardstien til Java ved at installere følgende pakke.

sudo apt -y install oracle-java8-set-default

Du kan kontrollere, om JAVA_HOMEer indstillet ved at køre.

echo $JAVA_HOME

Du vil se.

user@vultr:~$ echo $JAVA_HOME
/usr/lib/jvm/java-8-oracle

Hvis du slet ikke ser noget output, skal du logge ud fra den aktuelle shell og logge ind igen.

Installer Zeppelin

Apache Zeppelin sender alle afhængigheder sammen med de binære filer, så vi behøver ikke at installere andet end Java. Download Zeppelin binær på dit system. Du kan altid finde den seneste version af applikationen på Zeppelins downloadside .

wget http://www-us.apache.org/dist/zeppelin/zeppelin-0.7.3/zeppelin-0.7.3-bin-all.tgz

Uddrag arkivet.

sudo tar xf zeppelin-*-bin-all.tgz -C /opt

Ovenstående kommando vil udpakke arkivet til /opt/zeppelin-0.7.3-bin-all. Omdøb biblioteket for nemheds skyld.

sudo mv /opt/zeppelin-*-bin-all /opt/zeppelin

Apache Zeppelin er nu installeret. Du kan starte applikationen med det samme, men den vil ikke være tilgængelig for dig, da den kun lytter til localhost. Vi vil konfigurere Apache Zeppelin som en tjeneste. Vi vil også konfigurere Nginx som en omvendt proxy.

Konfigurer Systemd

I dette trin opsætter vi en Systemd-enhedsfil til Zeppelin-applikationen. Dette vil sikre, at ansøgningsprocessen automatisk startes ved systemgenstart og fejl.

Af sikkerhedsmæssige årsager skal du oprette en uprivilegeret bruger til at køre Zeppelin-processen.

sudo useradd -d /opt/zeppelin -s /bin/false zeppelin

Giv ejerskab af filerne til den nyoprettede Zeppelin-bruger.

sudo chown -R zeppelin:zeppelin /opt/zeppelin

Opret en ny Systemd-tjenesteenhedsfil.

sudo nano /etc/systemd/system/zeppelin.service

Udfyld filen med følgende.

[Unit]
Description=Zeppelin service
After=syslog.target network.target

[Service]
Type=forking
ExecStart=/opt/zeppelin/bin/zeppelin-daemon.sh start
ExecStop=/opt/zeppelin/bin/zeppelin-daemon.sh stop
ExecReload=/opt/zeppelin/bin/zeppelin-daemon.sh reload
User=zeppelin
Group=zeppelin
Restart=always

[Install]
WantedBy=multi-user.target

Start applikationen.

sudo systemctl start zeppelin

Aktiver Zeppelin-tjenesten til automatisk at starte ved opstart.

sudo systemctl enable zeppelin

For at sikre, at tjenesten kører, kan du køre følgende.

sudo systemctl status zeppelin

Konfigurer omvendt proxy

Som standard lytter Zeppelin-serveren til localhost på port 8080. Vi vil bruge Nginx som en omvendt proxy, så applikationen kan tilgås via standard HTTP og HTTPS porte. Vi vil også konfigurere Nginx til at bruge en SSL genereret med Let's Encrypt gratis SSL CA.

Installer Nginx.

sudo apt -y install nginx

Start Nginx og aktiver den til automatisk at starte ved opstart.

sudo systemctl start nginx
sudo systemctl enable nginx

Tilføj Certbot-depotet.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Installer Certbot, som er klientapplikationen til Let's Encrypt CA.

sudo apt -y install certbot

Note: To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Generate the SSL certificates.

sudo certbot certonly --webroot -w /var/www/html -d zeppelin.example.com

The generated certificates are likely to be stored in /etc/letsencrypt/live/zeppelin.example.com/. The SSL certificate will be stored as fullchain.pem and private key will be stored as privkey.pem.

Let's Encrypt certificates expire in 90 days, hence it is recommended to set up auto-renewal of the certificates using Cron jobs.

Open the cron job file.

sudo crontab -e

Add the following line at the end of the file.

30 5 * * * /usr/bin/certbot renew --quiet

The above cron job will run every day at 5:30 AM. If the certificate is due for expiration, it will automatically be renewed.

Create a new server block file for the Zeppelin site.

sudo nano /etc/nginx/sites-available/zeppelin

Populate the file.

upstream zeppelin {
server 127.0.0.1:8080;
}
server {
    listen 80;
    server_name zeppelin.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443;
    server_name zeppelin.example.com;

    ssl_certificate           /etc/letsencrypt/live/zeppelin.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/zeppelin.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log  /var/log/nginx/zeppelin.access.log;

location / {
        proxy_pass http://zeppelin;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header Host $http_host;
        proxy_set_header X-NginX-Proxy true;
        proxy_redirect off;
    }
location /ws {
    proxy_pass http://zeppelin/ws;
    proxy_http_version 1.1;
    proxy_set_header Upgrade websocket;
    proxy_set_header Connection upgrade;
    proxy_read_timeout 86400;
    }
  }

Activate the configuration file.

sudo ln -s /etc/nginx/sites-available/zeppelin /etc/nginx/sites-enabled/zeppelin

Restart Nginx so that the changes can take effect.

sudo systemctl restart nginx zeppelin

Zeppelin is now accessible on the following address.

https://zeppelin.example.com

By default, there is no authentication enabled, so you can use the application directly.

Since the application is accessible to everyone, the notebooks you create are also accessible to everyone. It is very important to disable anonymous access and enable authentication so that only the authenticated users can access the application.

Disable Anonymous Access

To disable the default anonymous access, copy the configuration file template to its live location.

cd /opt/zeppelin
sudo cp conf/zeppelin-site.xml.template conf/zeppelin-site.xml

Edit the configuration file.

sudo nano conf/zeppelin-site.xml

Find the following lines in the file.

<property>
  <name>zeppelin.anonymous.allowed</name>
  <value>true</value>

Change the value to false to disable the anonymous access.

Enable Shiro Authentication

Now that we have disabled the anonymous access, we need to enable some kind of authentication mechanism so that privileged users can log in. Apache Zeppelin uses Apache Shiro authentication. Copy the Shiro configuration file.

sudo cp conf/shiro.ini.template conf/shiro.ini

Edit the configuration file.

sudo nano conf/shiro.ini

Find the following lines in the file.

[users]

admin = password1, admin
user1 = password2, role1, role2
user2 = password3, role3
user3 = password4, role2

The list contains the username, password, and roles of the users. For now, we will only use admin and user1. Change the password of admin and user1 and disable the other users by commenting them. You can also change the username and roles of the users. To learn more about Apache Shiro users and roles, read the Shiro authorization guide.

Once you have changed the passwords, the code block should will like this.

[users]

admin = StrongPassword, admin
user1 = UserPassword, role1, role2
# user2 = password3, role3
# user3 = password4, role2

Now restart Zeppelin to apply the changes.

sudo systemctl restart zeppelin

You will see that the authentication has been enabled and you will be able to log in using the username and password set in the Shiro configuration file.