Kā instalēt un konfigurēt Concourse CI operētājsistēmā CentOS 7

Ievads

Nepārtrauktā integrācija ir DevOps programmatūras izstrādes prakse, kas ļauj izstrādātājiem bieži apvienot modificēto kodu koplietotajā repozitorijā daudzas reizes dienā. Pēc katras sapludināšanas tiek veiktas automātiskas būves un testi, lai atklātu problēmas kodā. Tas ļauj izstrādātājiem ātri atrast un novērst kļūdas, lai uzlabotu programmatūras kvalitāti un nodrošinātu nepārtrauktu programmatūras piegādi. Pārslēgšanās uz priekšu un atpakaļ no Concourse ir ļoti vienkārša, jo tā saglabā visu savu konfigurāciju deklaratīvajos failos, kurus var pārbaudīt versiju kontrolē. Tas nodrošina arī tīmekļa lietotāja saskarni, kas interaktīvi parāda būvējuma informāciju.

Sacensību sastāvdaļas.

• ATC ir galvenā sacensību sastāvdaļa. Tas ir atbildīgs par Web UI un API palaišanu. Tas arī rūpējas par visu cauruļvadu plānošanu.
• TSA ir pielāgots SSH serveris. Tā ir atbildīga par darba ņēmēja drošu reģistrēšanu ATC.
• Darbinieki tālāk nodrošina divus dažādus pakalpojumus:
  1. Garden ir konteinera izpildlaiks un interfeiss konteineru attālai vadīšanai uz darbinieka.
  2. Baggageclaim ir kešatmiņas un artefaktu pārvaldības serveris.
• Fly ir komandrindas saskarne, ko izmanto, lai mijiedarbotos ar ATC, lai konfigurētu Concourse Pipelines.

Priekšnoteikumi

• Vultr CentOS 7 servera gadījums.
• Sudo lietotāju .

Noteikti aizstājiet visus gadījumus 192.0.2.1un ci.example.comar savu faktisko Vultr publisko IP adresi un faktisko domēna nosaukumu.

Atjauniniet savu bāzes sistēmu, izmantojot rokasgrāmatu Kā atjaunināt CentOS 7 . Kad sistēma ir atjaunināta, turpiniet instalēt PostgreSQL.

Instalējiet un konfigurējiet PostgreSQL datu bāzi

PostgreSQL ir objektu relāciju datu bāzes sistēma. Concourse savus konveijera datus saglabā PostgreSQL datu bāzē. Pievienojiet PostgreSQL repozitoriju.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

Instalējiet PostgreSQL datu bāzes serveri.

sudo yum -y install postgresql96-server postgresql96-contrib

Inicializējiet datu bāzi.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbizveido jaunu PostgreSQL datu bāzes klasteru, kas ir datu bāzu kolekcija, ko pārvalda viens servera gadījums. Rediģējiet pg_hba.conffailu, lai iespējotu MD5 balstītu autentifikāciju.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

Atrast šādas līnijas un mainīt vērtības peerun identšajā METHODkolonnā trustun md5, attiecīgi.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Pēc atjaunināšanas konfigurācijai vajadzētu izskatīties šādi.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Palaidiet PostgreSQL serveri un iespējojiet tā automātisku palaišanu sāknēšanas laikā.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

Mainiet noklusējuma PostgreSQL lietotāja paroli.

sudo passwd postgres

Piesakieties kā PostgreSQL lietotājs:

sudo su - postgres

Izveidojiet jaunu PostgreSQL lietotāju Concourse CI.

createuser concourse

Piezīme : Noklusējuma PostgreSQL lietotāju var izmantot datu bāzes autentifikācijai, taču ir ieteicams izmantot īpašu lietotāju Concourse datu bāzes autentifikācijai ražošanas iestatījumos.

PostgreSQL nodrošina čaulu, lai palaistu vaicājumus datu bāzē. Pārslēdzieties uz PostgreSQL čaulu, izpildot:

psql

Iestatiet paroli jaunizveidotajam Concourse datu bāzes lietotājam.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Svarīgi : nomainiet DBPasswordar spēcīgu paroli. Pierakstiet paroli, jo tā būs nepieciešama vēlāk apmācībā.

Izveidojiet jaunu datubāzi Concourse.

CREATE DATABASE concourse OWNER concourse;

Iziet no psqlčaulas.

\q

Pārslēdzieties uz sudo lietotāju no pašreizējā postgres lietotāja.

exit

Lejupielādējiet un instalējiet Concourse CI

Lejupielādējiet jaunāko izpildāmā Concourse versiju un saglabājiet to, /usr/binlai to varētu izpildīt tieši. Jaunākā Concourse un Fly bināro failu versija ir atrodama Concourse lejupielādes lapā . Jauni izlaidumi ir ļoti bieži. Aizstājiet tālāk esošo saiti ar jauno saiti jaunākajai versijai.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

Tāpat lejupielādējiet jaunāko izpildāmā faila versiju un saglabājiet to /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly ir komandrindas saskarne, lai izveidotu savienojumu ar Concourse CI ATC API. Fly ir pieejams vairākām platformām, piemēram, Linux, Windows un MacOS.

Piešķiriet izpildes atļauju lejupielādētajiem concourseun flybinārajiem failiem.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Pārbaudiet, vai Concourse un Fly darbojas pareizi, pārbaudot to versiju.

concourse -version
fly -version

Ģenerējiet un iestatiet RSA atslēgas

RSA atslēgu pāri nodrošina veidu, kā šifrēt saziņu starp Sacensību komponentiem.

Lai Concourse darbotos, ir jāģenerē vismaz trīs atslēgu pāri. Lai šifrētu sesijas datus, ģenerējiet session_signing_key. Šo atslēgu izmantos arī TSA, lai parakstītu pieprasījumus, ko tā iesniedz ATC. Lai aizsargātu TSA SSH serveri, ģenerējiet tsa_host_key. Visbeidzot, ģenerētu worker_keypar katru darba ņēmēju.

Izveidojiet jaunu direktoriju, lai saglabātu atslēgas un konfigurāciju saistībā ar Concourse CI.

sudo mkdir /opt/concourse

Ģenerējiet nepieciešamās atslēgas.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Autorizējiet darbinieku publisko atslēgu, kopējot tās saturu authorized_worker_keysfailā:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Sacensību sākums

Concourse nodrošina divus atsevišķus komponentus, kas jāsāk, tīmekli un darbinieku. Sāciet Concourse tīmekli.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

basic-authJa vēlaties, mainiet lietotājvārdu un paroli . Pārliecinieties, vai ceļš uz atslēgas failiem ir pareizs, un pārliecinieties, vai PostgreSQL datu bāzes konfigurācijā ir norādīta pareizā lietotājvārda un paroles vērtība.

Piezīme : ATC klausīsies noklusējuma portu 8080un TSA klausīsies portu 2222. Ja autentifikācija nav vēlama, nododiet šo --no-really-i-dont-want-any-authopciju pēc pamata autentifikācijas opciju noņemšanas.

Kad tīmekļa serveris ir startēts, ir jāparāda šāda izvade.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Pagaidām apturiet serveri, jo vēl ir jāiestata vēl dažas lietas.

Sāciet Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Iepriekš minētā komanda pieņems, ka TSA darbojas uz localhost un klausās noklusējuma portu 2222.

Lai gan Concourse tīmekli un darbinieku var viegli palaist, izmantojot iepriekš minētās komandas, servera pārvaldībai ieteicams izmantot Systemd.

Konfigurējiet vidi un Systemd pakalpojumu

Pakalpojuma Systemd izmantošana lietojumprogrammas pārvaldībai nodrošina, ka lietojumprogramma tiek automātiski startēta kļūmju gadījumā un sāknēšanas laikā. Concourse serveris neņem datus no neviena konfigurācijas faila, bet var piekļūt datiem no vides mainīgajiem. Tā vietā, lai iestatītu globālos vides mainīgos, izveidojiet jaunu failu vides mainīgo glabāšanai un pēc tam nosūtiet mainīgos Concourse CI, izmantojot Systemd pakalpojumu.

Izveidojiet jaunu vides failu Concourse Web.

sudo nano /opt/concourse/web.env

Aizpildiet failu.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

BASIC_AUTHJa vēlaties, mainiet lietotājvārdu un paroli . Pārliecinieties, vai ceļš uz atslēgas failiem ir pareizs, un pārliecinieties, vai PostgreSQL datu bāzes konfigurācijā ir norādīta pareizā lietotājvārda un paroles vērtība.

Līdzīgi izveidojiet vides failu darbiniekam.

sudo nano /opt/concourse/worker.env

Aizpildiet failu.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Tā kā vides faili satur lietotājvārdu un paroles, mainiet tā atļaujas, lai citi lietotāji tiem nevarētu piekļūt.

sudo chmod 600 /opt/concourse/*.env

Tagad izveidojiet jaunu lietotāju Concourse, lai palaistu tīmekļa vidi. Tas nodrošinās, ka tīmekļa serveris darbojas izolētā vidē.

sudo adduser --system concourse

Piešķiriet Concourse lietotājam īpašumtiesības uz Concourse CI faila direktoriju.

sudo chown -R concourse:concourse /opt/concourse

Izveidojiet jaunu sistēmas pakalpojuma failu Concourse tīmekļa pakalpojumam.

sudo nano /etc/systemd/system/concourse-web.service

Aizpildiet failu.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Saglabājiet un aizveriet failu. Izveidojiet jaunu pakalpojuma failu Concourse darbinieka pakalpojumam.

sudo nano /etc/systemd/system/concourse-worker.service

Aizpildiet failu.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Tīmekļa un darbinieku pakalpojumu tagad var palaist tieši, palaižot:

sudo systemctl start concourse-web concourse-worker

Lai iespējotu darbinieka un tīmekļa procesa automātisku sākšanu sāknēšanas laikā, palaidiet:

sudo systemctl enable concourse-worker concourse-web

Lai pārbaudītu pakalpojumu statusu, palaidiet:

sudo systemctl status concourse-worker concourse-web

Ja pakalpojums nav palaists vai atrodas FAILEDstāvoklī, noņemiet kešatmiņu no /tmpdirektorija.

sudo rm -rf /tmp/*

Restartējiet pakalpojumus.

sudo systemctl restart concourse-worker concourse-web

Ņemiet vērā, ka šoreiz pakalpojumi ir sākušies pareizi. Pārbaudot pakalpojumu statusu, izvadei jābūt līdzīgai.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Pielāgojiet savu ugunsmūri, lai atļautu portu 8080, kurā darbojas ATS, un portu 2222, kurā darbojas TSA.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

Savienojuma izveide ar serveri

Kad serveris ir palaists, Concourse CI tīmekļa saskarnei var piekļūt, atverot http://192.0.2.1:8080jebkurā pārlūkprogrammā. Piesakieties, izmantojot vides failā norādīto lietotājvārdu un paroli.

Lai izveidotu savienojumu ar serveri, izmantojot Fly, palaidiet:

fly -t my-ci login -c http://192.0.2.1:8080

Iepriekš minētā komanda tiek izmantota sākotnējai pieteikšanās serverī. -ttiek izmantots, lai norādītu mērķa nosaukumu. aizstāt my-ciar jebkuru vēlamo mērķa nosaukumu. Iepriekš minētā komanda pieteiksies noklusējuma komandā main. Tas prasīs vides failā norādīto lietotājvārdu un paroli.

Izvade izskatīsies šādi.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Mērķa pieteikšanās tiks saglabāta vienu dienu. Pēc tam tas beigsies.

Lai nekavējoties izietu.

fly -t my-ci logout

fly var izmantot, lai pieteiktos serverī ārpus tīkla, bet tikai tad, ja serverim ir publiska IP adrese un tā ir pieejama ārpus tīkla. Windows vai MacOS bināro versiju var lejupielādēt no lejupielādes vietnes vai servera tīmekļa lietotāja interfeisa.

Nginx reversā starpniekservera iestatīšana

Pieteikšanās un cita informācija, kas tiek nosūtīta, izmantojot tīmekļa lietotāja interfeisu uz Concourse serveri, nav aizsargāta. Savienojums nav šifrēts. Nginx reverso starpniekserveri var iestatīt, izmantojot Let's Encrypt bezmaksas SSL.

Instalējiet Nginx tīmekļa serveri un Certbot, kas ir klienta lietojumprogramma Let's Encrypt CA.

sudo yum -y install certbot-nginx nginx

Sāciet un iespējojiet Nginx automātisku palaišanu sāknēšanas laikā:

sudo systemctl start nginx
sudo systemctl enable nginx

Lai varētu pieprasīt sertifikātus, caur ugunsmūri ir jāiespējo 80. un 443. ports vai standarta HTTP un HTTPS pakalpojumi. Certbot pirms sertifikātu izsniegšanas pārbaudīs domēna iestādi.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

Ports 8080 vairs nav jāļauj caur ugunsmūri, jo Concourse tagad tiks palaists standarta HTTPS portā. Noņemiet ugunsmūra ierakstu, lai atļautu portu 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

Piezīme

To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Ģenerējiet SSL sertifikātus.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Ģenerētie sertifikāti, visticamāk, tiks saglabāti /etc/letsencrypt/live/ci.example.com/direktorijā. SSL sertifikāts tiks saglabāts kā , fullchain.pemun privātā atslēga tiks saglabāta kā privkey.pem.

Sertifikātu šifrēšanas derīguma termiņš beidzas 90 dienu laikā, tāpēc ir ieteicams automātisku sertifikātu atjaunošanu iestatīt, izmantojot cronjobs. Cron ir sistēmas pakalpojums, ko izmanto periodisku uzdevumu izpildei.

Atveriet cron darba failu.

sudo crontab -e

Faila beigās pievienojiet šādu rindu.

30 5 * * 1 /usr/bin/certbot renew --quiet

Iepriekš minētais cron darbs darbosies katru pirmdienu pulksten 5:30. Ja sertifikātam beidzas derīguma termiņš, tas tiks automātiski atjaunots.

Izveidojiet jaunu virtuālo saimniekdatoru.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

Aizpildiet failu.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Piezīme . Aizstāt ci.example.comar faktisko domēnu.

Rediģējiet vides failu, kas izveidots konferencei Web.

sudo nano /opt/concourse/web.env

Mainiet vērtību CONCOURSE_EXTERNAL_URLun pievienojiet vēl divas rindiņas faila beigās.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Saglabājiet failu un restartējiet Concourse Web, Worker un Nginx tīmekļa serveri:

sudo systemctl restart concourse-worker concourse-web nginx

Visi dati, kas tiek nosūtīti uz pārlūkprogrammu un no tās, tagad ir aizsargāti ar SSL šifrēšanu.