Sådan installeres og konfigureres Concourse CI på Ubuntu 16.04

Introduktion

Kontinuerlig integration er en DevOps-softwareudviklingspraksis, som gør det muligt for udviklerne ofte at flette den ændrede kode ind i det delte lager mange gange om dagen. Efter hver fletning udføres automatiske builds og tests for at opdage problemer i koden. Det gør det muligt for udviklerne at finde og løse fejlene hurtigt for at forbedre softwarekvaliteten og give kontinuerlig levering af softwaren. Det er meget nemt at skifte frem og tilbage fra Concourse, da det beholder al sin konfiguration i deklarative filer, der kan tjekkes ind i versionskontrol. Det giver også en webbrugergrænseflade, som viser byggeoplysningerne interaktivt.

Concourse komponenter.

• ATC er hovedkomponenten i Concourse. Det er ansvarligt for at køre web-UI og API. Det tager sig også af al pipeline-planlægning.
• TSA er en specialbygget SSH-server. Det er ansvarligt for sikkert at registrere en arbejder hos ATC.
• Workers driver yderligere to forskellige tjenester:
  1. Garden er en container-runtime og en grænseflade til fjernstyring af containere på en arbejder.
  2. Baggageclaim er en cache- og artefaktadministrationsserver.
• Fly er en kommandolinjegrænseflade, der bruges til at interagere med ATC'en for at konfigurere Concourse Pipelines.

Forudsætninger

• En Vultr Ubuntu 16.04-serverinstans.
• En sudo-bruger .

Sørg for at erstatte alle forekomster af 192.0.2.1 og ci.example.com med din faktiske Vultr offentlige IP-adresse og faktiske domænenavn.

Opdater dit basissystem ved hjælp af vejledningen Sådan opdaterer du Ubuntu 16.04 . Når dit system er blevet opdateret, skal du fortsætte med at installere PostgreSQL.

Installer og konfigurer PostgreSQL-database

PostgreSQL er et objektrelationsdatabasesystem. Concourse gemmer sine pipelinedata i en PostgreSQL-database. Tilføj PostgreSQL-depotet.

echo "deb http://apt.postgresql.org/pub/repos/apt/ xenial-pgdg main" | sudo tee /etc/apt/sources.list.d/pgdg.list
wget --quiet -O - https://www.postgresql.org/media/keys/ACCC4CF8.asc | sudo apt-key add -
sudo apt update

Installer PostgreSQL-databaseserveren.

sudo apt -y install postgresql

Start PostgreSQL-serveren og aktiver den til at starte automatisk ved opstart.

sudo systemctl start postgresql
sudo systemctl enable postgresql

Skift adgangskoden til standard PostgreSQL-brugeren.

sudo passwd postgres

Log ind som PostgreSQL-bruger:

sudo su - postgres

Opret en ny PostgreSQL-bruger til Concourse CI.

createuser concourse

Bemærk : Standard PostgreSQL-brugeren kan bruges til autentificering af databasen, men det anbefales at bruge en dedikeret bruger til autentificering af Concourse-databasen i en produktionsopsætning.

PostgreSQL giver en shell til at køre forespørgsler på databasen. Skift til PostgreSQL-skallen.

psql

Indstil en adgangskode til den nyoprettede Concourse-databasebruger.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Vigtigt : Erstat DBPassword med en stærk adgangskode. Noter adgangskoden, da den vil blive påkrævet senere i selvstudiet.

Opret en ny database til Concourse.

CREATE DATABASE concourse OWNER concourse;

Gå ud af psql skallen.

\q

Skift til sudo-brugeren fra den nuværende postgresbruger.

exit

Download og installer Concourse CI

Download den seneste version af Concourse eksekverbar og gem den i, /usr/bin så den kan eksekveres direkte. Den seneste version af Concourse og Fly binære filer kan findes på Concourse download side . Nye udgivelser er meget hyppige. Erstat linket nedenfor med det nye link til den seneste version.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/concourse_linux_amd64 -O /usr/bin/concourse

På samme måde skal du downloade den nyeste version af den eksekverbare flue og gemme den i /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.10.0/fly_linux_amd64 -O /usr/bin/fly

Fly er kommandolinjegrænsefladen, der bruges til at oprette forbindelse til Concourse CI's ATC API. Fly er tilgængelig til flere platforme såsom Linux, Windows og MacOS.

Tildel eksekveringstilladelse til de downloadede concourse og fly binære filer.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Tjek om Concourse og Fly fungerer korrekt ved at tjekke deres version.

concourse -version
fly -version

Generer og opsæt RSA-nøgler

RSA nøglepar giver en måde at kryptere kommunikationen mellem komponenterne i Concourse.

For at Concourse skal fungere, skal der genereres mindst tre par nøgler. For at kryptere sessionsdataene skal du generere en session_signing_key. Denne nøgle vil også blive brugt af TSA til at underskrive de anmodninger, den sender til ATC. For at sikre TSA SSH-serveren skal du generere en tsa_host_key. Til sidst skal du generere en worker_key for hver medarbejder.

Opret en ny mappe til at gemme nøglerne og konfigurationen relateret til Concourse CI.

sudo mkdir /opt/concourse

Generer de nødvendige nøgler.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Godkend arbejdernes offentlige nøgle ved at kopiere dens indhold til authorized_worker_keys filen.

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Starter Concours

Concourse har to separate komponenter, som skal startes: nettet og arbejderen. Start Concourse-webstedet.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Skift brugernavn og adgangskode til den, basic-auth hvis det ønskes. Sørg for, at stien til nøglefilerne er korrekte, og sørg for, at den korrekte værdi for brugernavn og adgangskode i PostgreSQL-databasekonfigurationen er angivet.

Bemærk : ATC vil lytte til standardporten, 8080 og TSA vil lytte til porten 2222. Hvis godkendelse ikke ønskes, skal du videregive --no-really-i-dont-want-any-authindstillingen efter at have fjernet de grundlæggende godkendelsesmuligheder.

Når webserveren er startet, vil følgende output blive vist.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Stop serveren for nu, da et par ting stadig skal konfigureres.

Start Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Ovenstående kommando vil antage, at TSA'en kører på localhost og lytter til standardporten 2222.

Selvom Concourse web og worker nemt kan startes ved hjælp af kommandoerne ovenfor, anbefales det at bruge Systemd til at administrere serveren.

Konfigurer miljø og systemd service

Brug af Systemd-tjenesten til at administrere applikationen sikrer, at applikationen automatisk startes ved fejl og ved opstart. Concourse-serveren tager ikke data fra nogen konfigurationsfil, men den kan få adgang til data fra miljøvariabler. I stedet for at indstille globale miljøvariabler, skal du oprette en ny fil til at gemme miljøvariablerne og derefter sende variablerne til Concourse CI ved hjælp af Systemd-tjenesten.

Opret en ny miljøfil til Concourse web.

sudo nano /opt/concourse/web.env

Udfyld filen.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Skift brugernavn og adgangskode til den, BASIC_AUTH hvis det ønskes. Sørg for, at stien til nøglefilerne er korrekte, og sørg for, at den korrekte værdi for brugernavn og adgangskode i PostgreSQL-databasekonfigurationen er angivet.

På samme måde skal du oprette en miljøfil til arbejderen.

sudo nano /opt/concourse/worker.env

Udfyld filen.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

Da miljøfilerne indeholder brugernavne og adgangskoder, skal du ændre dens tilladelser, så de ikke kan tilgås af andre brugere.

sudo chmod 600 /opt/concourse/*.env

Opret nu en ny bruger til Concourse til at køre webmiljøet. Dette vil sikre, at webserveren kører i et isoleret miljø.

sudo useradd concourse

Giv concourse-brugeren ejerskab over Concourse CI-filens bibliotek.

sudo chown -R concourse:concourse /opt/concourse

Opret en ny systemd servicefil til Concourse webservice.

sudo nano /etc/systemd/system/concourse-web.service

Udfyld filen.

[Unit]
Description=Concourse CI web server

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Gem og luk filen. Opret en ny servicefil til Concourse worker-tjenesten.

sudo nano /etc/systemd/system/concourse-worker.service

Udfyld filen.

[Unit]
Description=Concourse CI worker process

[Service]
Type=simple
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

Web- og arbejdertjenesten kan nu startes direkte.

sudo systemctl start concourse-web concourse-worker

To enable the worker and web process to automatically start at boot time, run the following.

sudo systemctl enable concourse-worker concourse-web

To check the status of services, run the following.

sudo systemctl status concourse-worker concourse-web

If the service is not started, or in the FAILED state, remove the cache from the /tmp directory.

sudo rm -rf /tmp/*

Restart the services.

sudo systemctl restart concourse-worker concourse-web

Notice that this time the services have started correctly. The output upon verifying the status of the services will be similar to the following.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}

...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Connecting to the Server

Once the server is started, the web interface of the Concourse CI can be accessed by going to http://192.0.2.1:8080 in any browser. Log in using the username and password provided in the environment file.

To connect to the server using Fly, run the following.

fly -t my-ci login -c http://192.0.2.1:8080

Ovenstående kommando bruges til det første login til serveren. -t bruges til at angive et målnavn. erstatte my-ci med et hvilket som helst ønsket målnavn. Ovenstående kommando vil logge på standardteamet main. Den vil bede om det brugernavn og den adgangskode, der er angivet i miljøfilen.

Outputtet vil se ud som følgende.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Mållogin gemmes i en dag. Derefter udløber den.

At logge ud med det samme.

fly -t my-ci logout

Fly kan bruges til at logge på serveren uden for netværket, men kun hvis serveren har en offentlig IP-adresse, og den er tilgængelig uden for netværket. Windows- eller MacOS-binæren kan downloades fra downloadwebstedet eller fra serverens web-UI.

Opsætning af Nginx Reverse Proxy

Login og andre oplysninger, der sendes via web-UI til Concourse-serveren, er ikke sikret. Forbindelsen er ikke krypteret. En Nginx omvendt proxy kan sættes op med en Let's Encrypt gratis SSL.

Installer Nginx.

sudo apt -y install nginx

Start Nginx og aktiver den til automatisk at starte ved opstart.

sudo systemctl start nginx
sudo systemctl enable nginx

Tilføj Certbot-depotet.

sudo add-apt-repository --yes ppa:certbot/certbot
sudo apt-get update

Installer Certbot, som er klientapplikationen til Let's Encrypt CA.

sudo apt -y install certbot

Bemærk : For at få certifikater fra Let's Encrypt CA, skal domænet, som certifikaterne skal genereres for, pege mod serveren. Hvis ikke, skal du foretage de nødvendige ændringer i domænets DNS-poster og vente på, at DNS'en udbreder sig, før du foretager certifikatanmodningen igen. Certbot kontrollerer domæneautoriteten, før certifikaterne leveres.

Generer SSL-certifikaterne.

sudo certbot certonly --webroot -w /var/www/html -d ci.example.com

De genererede certifikater vil sandsynligvis blive gemt i /etc/letsencrypt/live/ci.example.com/ mappen. SSL-certifikatet vil blive gemt som, fullchain.pem og den private nøgle vil blive gemt som privkey.pem.

Lad os kryptere certifikater udløber om 90 dage, så det anbefales automatisk fornyelse, da certifikaterne er sat op ved hjælp af cronjobs. Cron er en systemtjeneste, som bruges til at køre periodiske opgaver.

Åbn cron-jobfilen.

sudo crontab -e

Tilføj følgende linje i slutningen af ​​filen.

30 5 * * * /usr/bin/certbot renew --quiet

Ovenstående cron-job kører hver dag kl. 05.30. Hvis certifikatet udløber, vil det automatisk blive fornyet.

Opret en ny virtuel vært.

sudo nano /etc/nginx/sites-available/concourse

Udfyld filen.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Bemærk : Erstat ci.example.com med det faktiske domæne.

Aktiver konfigurationsfilen.

sudo ln -s /etc/nginx/sites-available/concourse /etc/nginx/sites-enabled/concourse

Rediger miljøfilen, der er oprettet til concourse Web.

sudo nano /opt/concourse/web.env

Skift værdien af CONCOURSE_EXTERNAL_URL og tilføj også yderligere to linjer i slutningen af ​​filen.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Gem filen og genstart Concourse Web, Worker og Nginx.

sudo systemctl restart concourse-worker concourse-web nginx

Alle data, der sendes til og fra browseren, er nu sikret med SSL-krypteringer.