Použití Chef-solo ke konfiguraci aplikace Django na Ubuntu

Existuje mnoho způsobů, jak automatizovat proces nastavení a konfigurace boxu. Z jakéhokoli důvodu, pokud se celý náš systém v tomto bodě skládá pouze z jediného boxu, je nastavení úplné infrastruktury SCM (Software Configuration Management) přehnané. Shell skripty jsou jednou z možností, ale mohli bychom také použít omezenou verzi SCM, která je k dispozici v několika nástrojích. Chef je jednou z oblíbených možností a "chef-solo" je samostatný konfigurační režim šéfkuchaře, kde nepotřebujeme další uzel, který by fungoval jako "chef-server". Vše, co potřebuje, je URL nebo cesta k balíčku tarball, který obsahuje kuchařské knihy šéfkuchaře. Ve srovnání s shellovými skripty je tento typ přístupu deklarativnější a efektivnější hned po vybalení a je také dobrým úvodem do začátku s procesy SCM nebo IaC (Infrastructure as Code).

Několik dalších výhod používání chef-solo:

• Složitelnost: Použijte komunitní kuchařky ze supermarketu šéfkuchaře nebo jiných míst.
• Volný a otevřený zdroj; pod licencí Apache 2.0 License.
• Přístup ke zbytku ekosystému šéfkuchaře (InSpec, ChefSpec, Cookstyle, Foodcritic, chef-shell atd.)
• Kuchařky a recepty lze později přizpůsobit režimu klient/server.

A některé nevýhody:

• Některé komunitní kuchařky v supermarketu Chef jsou zastaralé, rozbité a neudržované.
• chef-solo nemůže samostatně vyřešit závislosti.

„Recepty“ uvnitř „kuchařky“ šéfkuchaře mají rubínový DSL, který popisuje „zdroje“, které mají být v určitém stavu na uzlu. Pokračujme v průvodci, abychom se seznámili s několika koncepty šéfkuchaře, které lze použít i pro šéfkuchaře-sólo. Naším cílem je nastavit uzel Ubuntu s webovou aplikací Python/Django pomocí Gunicorn a NGINX.

Note: We do not necessarily require ChefDK to be installed on our "Chef workstation" (our machine), although with it, we can use 'chef generate' commands to start-off with a directory structure for creating cookbooks, recipes and more. In this article, we will assume ChefDK is installed on our workstation. Commands were run using the version 4.7.26-1 of ChefDK.

(Vše od tohoto okamžiku, není-li uvedeno jinak, má být spuštěno na našem stroji, označovaném také jako ‚pracovní stanice šéfkuchaře‘)

Vytvoření kuchařky

Kuchařky v kuchaři jsou opakovaně použitelné jednotky, které obsahují vše potřebné pro podporu konfiguračního scénáře. Kuchařky mohou obsahovat více „receptů“ a „recepty“ většinou sestávají ze vzorů zdrojů. default.rbje výchozí recept, který se spustí, když se na kuchařku odkazuje v seznamu spuštění . Různé recepty umožňují oddělení obav. Pro tento tutoriál však přidáme všechny deklarace prostředků do jednoho hlavního souboru receptu, kterým je default.rb.

Vytvořte složku s názvem „my-chef-project“ a vytvořte v ní složku s názvem „kuchařky“. Od ./my-chef-project/cookbooks/, spustit:

$ chef generate cookbook my-cookbook

Naše adresářová struktura bude nyní vypadat takto:

.
└── my-chef-project
└── cookbooks
└── my-cookbook
├── CHANGELOG.md
├── LICENSE
├── Policyfile.rb
├── README.md
├── chefignore
├── kitchen.yml
├── metadata.rb
├── recipes
│ └── default.rb
├── spec
│ ├── spec_helper.rb
│ └── unit
│ └── recipes
│ └── default_spec.rb
└── test
└── integration
└── default
└── default_test.rb

Přidávání balíčků

Prvním krokem k nastavení našeho uzlu je určit, jaké balíčky naše aplikace vyžaduje. Náš uzel je vybrán jako Ubuntu, takže se můžeme spolehnout na správce balíčků APT, který shromáždí závislosti. Instalace balíčků poskytovaných distribucí OS je pak hračkou:

apt_update
package 'python3'
package 'python3-pip'
package 'nginx'
package 'pkg-config'
package 'libcairo2-dev'
package 'libjpeg-dev'
package 'libgif-dev'
package 'libgirepository1.0-dev'

Ty jsou do značné míry samozřejmé. První řádek aktualizuje repozitář apt a následující řádky nainstalují tyto balíčky.

Note: The packages following 'nginx' are needed for compiling some of the python dependencies through pip. These may differ based on your python/django project dependencies specified in requirements.txt. You can use a trial and error method to determine these packages that you need to include in your cookbook. To do that, perform a manual sudo pip install -r requirements.txt (Note: This installs packages system wide!) on a freshly instantiated ubuntu machine to see if it runs successfully. If not, the stderr should give you hints on what packages are missing.

Vytváření linuxových uživatelů

Jakmile dokončíme přidávání požadovaných balíčků, musíme vytvořit neprivilegovaného uživatele Linuxu, který bude vlastnit zdrojový kód aplikace.

user 'bob' do
  uid 1212
  gid 'users'
  home '/home/bob'
  shell '/bin/bash'
  password '$1$alilbito$C83FsODuq0A1pUMeFPeR10'
end

Všimněte si, že heslo je stínový hash formát používaný v Linuxu. Lze jej odvodit pomocí OpenSSL:

$ openssl passwd -1 -salt alilbitof mypassword

Včetně zdroje aplikace

Nyní do naší kuchařky zahrneme zdrojový kód aplikace Django. Umístěte zdrojový kód dovnitř ./my-chef-project/cookbooks/my-cookbook/files/default/myapp/ Vytvořte ./my-chef-project/cookbooks/my-cookbook/files/defaultadresář, pokud neexistuje.

Instrukce ke zkopírování těchto souborů do vzdáleného umístění v našem uzlu je popsána pomocí prostředku remote_directory :

remote_directory '/home/bob/myapp' do
  source 'myapp' # This is the name of the folder containing our source code that we kept in ./my-cookbook/files/default/
  owner 'bob'
  group 'users'
  mode '0755'
  action :create
end

Stahování závislostí pythonu

Chcete-li nainstalovat python balíky requirements.txt, můžeme použít spustit zdroj spustit libovolný příkaz. V tomto případě musíme nad ním provést příkaz pip install:

execute 'install python dependencies' do
  command 'pip3 install -r requirements.txt'
  cwd '/home/bob/myapp'
end

Note: Bear in mind that this is going to execute as the root user and the python libraries will be installed system-wide. If our node is designated to exclusively run this one single python app, then it isn't much of a problem. Despite that, a better option to keep things clean and sane is to find and use a community cookbook that manages python installations or 'virtualenvs'. (or at the very least, write a series of execute blocks to replicate this). Using virtualenvs in python ensures that any python based system tools or other python projects will not be affected

Nastavení Gunicorn & NGINX

Nyní je čas připravit Gunicorn WSGI HTTP Server s NGINX jako naším reverzním proxy. Nginx se také používá ke zpracování všech statických aktiv z Django.

Chcete-li připoutat Gunicorn jako službu na Ubuntu, lze použít Systemd. Prostředek systemd_unit je součástí Chef od verze 12.11.

systemd_unit 'gunicorn.service' do
  content({
  Unit: {
    Description: 'Django on Gunicorn',
    After: 'network.target',
  },
  Service: {
    ExecStart: '/usr/local/bin/gunicorn --workers 3 --bind localhost:8080 myapp.wsgi:application',
    User: 'bob',
    Group: 'www-data',
    WorkingDirectory: '/home/bob/myapp'
    Restart: 'always',
  },
  Install: {
    WantedBy: 'multi-user.target',
  }
  })
  action [:create, :enable, :start]
end

Nyní musíme do tohoto serveru Gunicorn zahrnout standardní konfiguraci proxy NGINX, jak je znázorněno níže. Tento úryvek může jít do ./my-cookbook/templates/nginx.conf.erb. Vytvořte adresář šablon, pokud neexistuje.

Note: Chef's templates support embedded ruby files that can contain variables, ruby expressions and statements. Although this file has the 'erb' extension, we did not use any of the ruby statements or expressions. Also, for the sake of simplicity, we only have a non HTTPS nginx config here (gentle reminder; please do not do this in production!)

server {
  listen 80;
  server_name http://example.com/;

  location = /favicon.ico { access_log off; log_not_found off; }
  location /static/ {
    root /home/bob/myapp/myapp/static;
  }

  location / {
  include proxy_params;
    proxy_pass http://localhost:8080/;
  }
}

Note: There is also an alternative and a better config, where, for instance the Gunicorn server is bound to a unix domain socket instead of a TCP loopback connection. It's worth exploring that for performance reasons.

Chcete-li zkopírovat tuto konfiguraci do složky s povolenými weby v uzlu, použijte prostředek šablony od Chef.

template '/etc/nginx/sites-available/example.com.conf' do
  source 'nginx.conf.erb'
  owner 'root'
  group 'root'
  mode '0744'
end

Aktivace konfigurací na nginx se normálně provádí vytvořením symbolického odkazu ukazujícího na konfiguraci sites-availableve složce nginx sites-enabled. Symbolické odkazy lze deklarovat v kuchařských knihách pomocí odkazu, jak je uvedeno níže:

link '/etc/nginx/sites-enabled/example.com.conf' do
  to '/etc/nginx/sites-available/example.com.conf'
end

a smazat výchozí konfigurační symbolický odkaz:

link '/etc/nginx/sites-enabled/default' do
  action :delete
end

Spuštění NGINX

A konečně pro spuštění služby nginx:

service 'nginx' do
  action :enable
  action :start
end

Runlisty

Run-listy v kuchaři jsou uspořádaným seznamem rolí nebo receptů v kuchařce, které budou v uzlu postupně spouštěny. Máme jednu kuchařku „moje kuchařka“ a v ní „výchozí“ recept, který musíme spustit v krabici Ubuntu, takže soubor runlist.json v adresáři našeho projektu ( ./my-chef-project/runlist.json) by měl vypadat takto:

{
  "run_list": [
    "recipe[my-cookbook::default]"
  ]
}

Závěrečné kroky

Naše kuchařka pro šéfkuchaře solo je připravena k podávání. Je čas zřídit počítač Ubuntu 18.04 a nainstalovat na něj ChefDK:

$ ssh [email protected] 'apt-get update && yes | apt-get install curl && curl https://packages.chef.io/files/current/chefdk/4.7.45/ubuntu/18.04/chefdk_4.7.45-1_amd64.deb -o chefdk.deb && yes | dpkg -i chefdk.deb && rm chefdk.deb'

Vraťme se na naši pracovní stanici Chef , vše, co musíme udělat, je vložit složku kuchařek do tarballu, přenést tento tarball spolu s tarballem runlist.jsondo vzdáleného uzlu, který jsme zřídili výše, a spustit příkaz chef-solo:

(Níže uvedený příkaz má být spuštěn uvnitř uzlu nebo „klienta šéfkuchaře“ a nikoli pracovní stanice Chef Workstation)

$ chef-solo --recipe-url $(pwd)/chef-solo.tar.gz -j $(pwd)/runlist.json --chef-license=accept

Nebo zde je jeden řádek (bude spuštěn z ./my-chef-project/CWD na Chef Workstation):

tar zvcf chef-solo.tar.gz ./cookbooks &&\
scp chef-solo.tar.gz runlist.json [email protected]:~/ &&\
ssh [email protected] 'chef-solo --recipe-url $(pwd)/chef-solo.tar.gz -j $(pwd)/runlist.json --chef-license=accept'

A je to! Sledujte, jak se standardní výstup plní aktivitou šéfkuchaře, který se snaží konvergovat váš uzel k tomu, co jste zadali v kuchařkách. Chef-solo nainstaluje všechny drahokamy potřebné pro všechny kuchařky. Pokud bude příkaz chef-solo úspěšný, budeme mít funkční aplikaci Django spuštěnou za nginx na krabici Ubuntu. Přejděte na doménu/IP a otestujte ji.

Note: Remember that in django you may need to set this domain/ip in the ALLOWED_HOSTS list in settings.py.

Reagování na změny

Kdykoli provedeme změnu v obsahu našeho projektového adresáře (recepty, šablony nebo zdrojový kód aplikace atd.), jednoduše spusťte výše uvedený jednoduchý řádek z adresáře projektu.

Tip: If the cookbook is version controlled with git (as it should), one good recommendation is to set git hooks to run this one-liner.

Hostování tarballu (volitelné)

Pokud se podíváte pozorně na poslední příkaz chef-solo, všimněte si, že --recipe-urlmá převzít URL. To znamená, že můžete mít pracovní postup, ve kterém CI vytvoří váš tarball sólo šéfkuchaře, někam ho nahraje a nakonfiguruje váš uzel, aby z něj pravidelně čerpal.

Tip: Use curl to pull the changed tarball periodically as a cronjob. curl -z $file will honor If-Modified-Since headers and will only download the tar ball if the remote file has been changed since the timestamp on the existing local $file.