Kako namestiti in konfigurirati Concourse CI na CentOS 7

Uvod

Neprekinjena integracija je praksa razvoja programske opreme DevOps, ki razvijalcem omogoča pogosto združevanje spremenjene kode v skupni repozitorij večkrat na dan. Po vsaki združitvi se izvedejo samodejne gradnje in preizkusi za odkrivanje težav v kodi. Razvijalcem omogoča, da hitro najdejo in odpravijo napake, da izboljšajo kakovost programske opreme in zagotovijo neprekinjeno dostavo programske opreme. Preklapljanje sem in nazaj iz Concourse je zelo enostavno, saj vso svojo konfiguracijo hrani v deklarativnih datotekah, ki jih je mogoče preveriti v nadzoru različic. Zagotavlja tudi spletni uporabniški vmesnik, ki interaktivno prikazuje informacije o gradnji.

Komponente Concoursa.

• ATC je glavna komponenta Concoursa. Odgovoren je za izvajanje spletnega uporabniškega vmesnika in API-ja. Poskrbi tudi za celotno načrtovanje cevovoda.
• TSA je po meri izdelan SSH strežnik. Odgovoren je za varno registracijo delavca pri ATC.
• Workers nadalje vodi dve različni storitvi:
  1. Garden je izvajalni čas vsebnika in vmesnik za daljinsko orkestriranje vsebnikov na delavcu.
  2. Baggageclaim je strežnik za upravljanje predpomnilnika in artefaktov.
• Fly je vmesnik ukazne vrstice, ki se uporablja za interakcijo z ATC za konfiguriranje Concourse Pipelines.

Predpogoji

• Primerek strežnika Vultr CentOS 7.
• Uporabnik sudo .

Ne pozabite zamenjati vseh pojavov 192.0.2.1in ci.example.comz vašim dejanskim javnim IP naslovom Vultr in dejanskim imenom domene.

Posodobite svoj osnovni sistem z uporabo priročnika Kako posodobiti CentOS 7 . Ko je vaš sistem posodobljen, nadaljujte z namestitvijo PostgreSQL.

Namestite in konfigurirajte zbirko podatkov PostgreSQL

PostgreSQL je sistem objektne relacijske baze podatkov. Concourse shrani svoje podatke cevovoda v zbirko podatkov PostgreSQL. Dodajte repozitorij PostgreSQL.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

Namestite strežnik baze podatkov PostgreSQL.

sudo yum -y install postgresql96-server postgresql96-contrib

Inicializirajte bazo podatkov.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbustvari novo gručo baz podatkov PostgreSQL, ki je zbirka baz podatkov, ki jih upravlja en primerek strežnika. Uredite pg_hba.confdatoteko, da omogočite preverjanje pristnosti na podlagi MD5.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

Poiščite naslednje vrstice in spremenite vrednosti peerin identv METHODstolpcu v trustin md5.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Ko je konfiguracija posodobljena, bi morala izgledati takole.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Zaženite strežnik PostgreSQL in omogočite, da se samodejno zažene ob zagonu.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

Spremenite geslo za privzetega uporabnika PostgreSQL.

sudo passwd postgres

Prijavite se kot uporabnik PostgreSQL:

sudo su - postgres

Ustvarite novega uporabnika PostgreSQL za Concourse CI.

createuser concourse

Opomba : Privzeti uporabnik PostgreSQL se lahko uporablja za preverjanje pristnosti baze podatkov, vendar je priporočljivo uporabiti namenskega uporabnika za preverjanje pristnosti baze podatkov Concourse v produkcijski nastavitvi.

PostgreSQL ponuja lupino za izvajanje poizvedb v bazi podatkov. Preklopite na lupino PostgreSQL tako, da zaženete:

psql

Nastavite geslo za novo ustvarjenega uporabnika baze podatkov Concourse.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Pomembno : Zamenjajte DBPasswordz močnim geslom. Zapišite si geslo, saj bo potrebno pozneje v vadnici.

Ustvarite novo bazo podatkov za Concourse.

CREATE DATABASE concourse OWNER concourse;

Zapustite psqllupino.

\q

Preklopite na uporabnika sudo s trenutnega uporabnika postgresa.

exit

Prenesite in namestite Concourse CI

Prenesite najnovejšo različico izvedljive datoteke Concourse in jo shranite /usr/bin, da jo boste lahko izvajali neposredno. Najnovejšo različico binarnih datotek Concourse in Fly lahko najdete na strani za prenos Concourse . Nove izdaje so zelo pogoste. Zamenjajte spodnjo povezavo z novo povezavo za najnovejšo različico.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

Podobno prenesite najnovejšo različico izvedljive datoteke fly in jo shranite v /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly je vmesnik ukazne vrstice za povezavo z API-jem ATC Concourse CI. Fly je na voljo za več platform, kot so Linux, Windows in MacOS.

Dodeli dovoljenje za izvajanje prenesenim concoursein flybinarnim datotekam.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Preverite, ali Concourse in Fly delujeta pravilno, tako da preverite njihovo različico.

concourse -version
fly -version

Ustvarjanje in nastavitev ključev RSA

Pari ključev RSA zagotavljajo način za šifriranje komunikacije med komponentami Concourse.

Da bi Concourse deloval, morajo biti ustvarjeni vsaj trije pari ključev. Za šifriranje podatkov seje ustvarite datoteko session_signing_key. Ta ključ bo TSA uporabljal tudi za podpisovanje zahtev, ki jih poda ATC. Če želite zavarovati strežnik TSA SSH, ustvarite datoteko tsa_host_key. Končno ustvarite worker_keyza vsakega delavca.

Ustvarite nov imenik za shranjevanje ključev in konfiguracije, povezane s Concourse CI.

sudo mkdir /opt/concourse

Ustvarite zahtevane ključe.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Pooblastite delavčev javni ključ tako, da kopirate njegovo vsebino v authorized_worker_keysdatoteko:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Začetni tečaj

Concourse ponuja dve ločeni komponenti, ki ju je treba zagnati, splet in delavca. Zaženite spletno mesto Concourse.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

basic-authPo želji spremenite uporabniško ime in geslo za . Prepričajte se, da je pot do datotek ključev pravilna in da je na voljo pravilna vrednost za uporabniško ime in geslo v konfiguraciji baze podatkov PostgreSQL.

Opomba : ATC bo poslušal privzeta vrata, 8080TSA pa vrata 2222. Če preverjanje pristnosti ni zaželeno, prenesite --no-really-i-dont-want-any-authmožnost, potem ko odstranite osnovne možnosti preverjanja pristnosti.

Ko se spletni strežnik zažene, se mora prikazati naslednji izhod.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Za zdaj ustavite strežnik, saj je treba še nekaj stvari nastaviti.

Zaženite Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Zgornji ukaz bo predvideval, da TSA deluje na lokalnem gostitelju in posluša privzeta vrata 2222.

Čeprav se lahko splet in delavec Concourse enostavno zaženete z uporabo zgornjih ukazov, je za upravljanje strežnika priporočljivo uporabiti Systemd.

Konfigurirajte okolje in storitev Systemd

Uporaba storitve Systemd za upravljanje aplikacije zagotavlja, da se aplikacija samodejno zažene ob napakah in ob zagonu. Strežnik Concourse ne jemlje podatkov iz nobene konfiguracijske datoteke, lahko pa dostopa do podatkov iz spremenljivk okolja. Namesto nastavljanja globalnih spremenljivk okolja ustvarite novo datoteko za shranjevanje spremenljivk okolja in nato s storitvijo Systemd posredujte spremenljivke Concourse CI.

Ustvarite novo okoljsko datoteko za Concourse web.

sudo nano /opt/concourse/web.env

Izpolnite datoteko.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

BASIC_AUTHPo želji spremenite uporabniško ime in geslo za . Prepričajte se, da je pot do datotek ključev pravilna in da je na voljo pravilna vrednost za uporabniško ime in geslo v konfiguraciji baze podatkov PostgreSQL.

Podobno ustvarite okoljsko datoteko za delavca.

sudo nano /opt/concourse/worker.env

Izpolnite datoteko.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Ker datoteke okolja vsebujejo uporabniško ime in gesla, spremenite njegova dovoljenja, tako da do njih ne morejo dostopati drugi uporabniki.

sudo chmod 600 /opt/concourse/*.env

Zdaj ustvarite novega uporabnika za Concourse za zagon spletnega okolja. To bo zagotovilo, da spletni strežnik deluje v izoliranem okolju.

sudo adduser --system concourse

Dodelite uporabniku concourse lastništvo nad imenikom datoteke Concourse CI.

sudo chown -R concourse:concourse /opt/concourse

Ustvarite novo datoteko storitve systemd za spletno storitev Concourse.

sudo nano /etc/systemd/system/concourse-web.service

Izpolnite datoteko.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Shranite in zaprite datoteko. Ustvarite novo storitveno datoteko za storitev Concourse Worker.

sudo nano /etc/systemd/system/concourse-worker.service

Izpolnite datoteko.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Spletno in delovno storitev lahko zdaj zaženete neposredno z zagonom:

sudo systemctl start concourse-web concourse-worker

Če želite omogočiti, da se delovni in spletni proces samodejno zažene ob zagonu, zaženite:

sudo systemctl enable concourse-worker concourse-web

Če želite preveriti stanje storitev, zaženite:

sudo systemctl status concourse-worker concourse-web

Če storitev ni zagnana ali v FAILEDstanju, odstranite predpomnilnik iz /tmpimenika.

sudo rm -rf /tmp/*

Znova zaženite storitve.

sudo systemctl restart concourse-worker concourse-web

Upoštevajte, da so se tokrat storitve začele pravilno. Izhod ob preverjanju statusa storitev mora biti podoben.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Prilagodite požarni zid, da dovolite vrata 8080, na katerih se izvaja ATS, in vrata 2222, na katerih deluje TSA.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

Povezava s strežnikom

Ko se strežnik zažene, lahko do spletnega vmesnika Concourse CI dostopate http://192.0.2.1:8080v katerem koli brskalniku. Prijavite se z uporabniškim imenom in geslom, navedenim v datoteki okolja.

Če se želite povezati s strežnikom z uporabo Fly, zaženite:

fly -t my-ci login -c http://192.0.2.1:8080

Zgornji ukaz se uporablja za začetno prijavo v strežnik. -tse uporablja za podajanje ciljnega imena. zamenjajte my-cis poljubnim želenim imenom cilja. Zgornji ukaz se bo prijavil v privzeto ekipo main. Zahteval bo uporabniško ime in geslo, ki sta navedena v datoteki okolja.

Izhod bo videti takole.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Ciljna prijava bo shranjena za en dan. Po tem bo potekel.

Za takojšnjo odjavo.

fly -t my-ci logout

fly se lahko uporablja za prijavo v strežnik zunaj omrežja, vendar le, če ima strežnik javni IP naslov in je dostopen izven omrežja. Binarno datoteko Windows ali MacOS lahko prenesete s spletnega mesta za prenos ali iz spletnega uporabniškega vmesnika strežnika.

Nastavitev povratnega proxyja Nginx

Prijave in druge informacije, poslane prek spletnega uporabniškega vmesnika na strežnik Concourse, niso zavarovane. Povezava ni šifrirana. Povratni proxy Nginx je mogoče nastaviti z brezplačnim SSL Let's Encrypt.

Namestite spletni strežnik Nginx in Certbot, ki je odjemalska aplikacija za Let's Encrypt CA.

sudo yum -y install certbot-nginx nginx

Zaženite in omogočite Nginx, da se samodejno zažene ob zagonu:

sudo systemctl start nginx
sudo systemctl enable nginx

Preden se lahko zahteva zahteva za potrdila, je treba prek požarnega zidu omogočiti vrata 80 in 443 ali standardne storitve HTTP in HTTPS. Certbot bo preveril avtoriteto domene pred izdajo potrdil.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

Vrata 8080 ni več treba dovoliti skozi požarni zid, ker se bo Concourse zdaj izvajal na standardnih vratih HTTPS. Odstranite vnos požarnega zidu, da omogočite vrata 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

Opomba

To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Ustvarite SSL potrdila.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Ustvarjena potrdila bodo verjetno shranjena v /etc/letsencrypt/live/ci.example.com/imeniku. Potrdilo SSL bo shranjeno kot, fullchain.pemzasebni ključ pa kot privkey.pem.

Potrdila Let's Encrypt potečejo v 90 dneh, zato je priporočljivo, da se samodejna obnova potrdil nastavi s cronjobs. Cron je sistemska storitev, ki se uporablja za izvajanje občasnih opravil.

Odprite datoteko opravila cron.

sudo crontab -e

Dodajte naslednjo vrstico na konec datoteke.

30 5 * * 1 /usr/bin/certbot renew --quiet

Zgornje opravilo cron se bo izvajalo vsak ponedeljek ob 5.30. Če potrdilo poteče, se samodejno podaljša.

Ustvarite novega virtualnega gostitelja.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

Izpolnite datoteko.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Opomba : Zamenjajte ci.example.comz dejansko domeno.

Uredite datoteko okolja, ki je bila ustvarjena za Concours Web.

sudo nano /opt/concourse/web.env

Spremenite vrednost CONCOURSE_EXTERNAL_URLin dodajte še dve vrstici na koncu datoteke.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Shranite datoteko in znova zaženite spletni strežnik Concourse Web, Worker in Nginx:

sudo systemctl restart concourse-worker concourse-web nginx

Vsi podatki, poslani v brskalnik in iz njega, so zdaj zavarovani s šifriranjem SSL.