Sådan installeres og konfigureres Concourse CI på CentOS 7

Introduktion

Kontinuerlig integration er en DevOps-softwareudviklingspraksis, som gør det muligt for udviklerne ofte at flette den ændrede kode ind i det delte lager mange gange om dagen. Efter hver fletning udføres automatiske builds og tests for at opdage problemer i koden. Det gør det muligt for udviklerne at finde og løse fejlene hurtigt for at forbedre softwarekvaliteten og give kontinuerlig levering af softwaren. Det er meget nemt at skifte frem og tilbage fra Concourse, da det beholder al sin konfiguration i deklarative filer, der kan tjekkes ind i versionskontrol. Det giver også en webbrugergrænseflade, som viser byggeoplysningerne interaktivt.

Concourse komponenter.

• ATC er hovedkomponenten i Concourse. Det er ansvarligt for at køre web-UI og API. Det tager sig også af al pipeline-planlægning.
• TSA er en specialbygget SSH-server. Det er ansvarligt for sikkert at registrere en arbejder hos ATC.
• Workers driver yderligere to forskellige tjenester:
  1. Garden er en container-runtime og en grænseflade til fjernstyring af containere på en arbejder.
  2. Baggageclaim er en cache- og artefaktadministrationsserver.
• Fly er en kommandolinjegrænseflade, der bruges til at interagere med ATC'en for at konfigurere Concourse Pipelines.

Forudsætninger

• En Vultr CentOS 7-serverinstans.
• En sudo-bruger .

Sørg for at erstatte alle forekomster af 192.0.2.1og ci.example.commed din faktiske Vultr offentlige IP-adresse og faktiske domænenavn.

Opdater dit basissystem ved hjælp af vejledningen Sådan opdaterer du CentOS 7 . Når dit system er blevet opdateret, skal du fortsætte med at installere PostgreSQL.

Installer og konfigurer PostgreSQL-database

PostgreSQL er et objektrelationsdatabasesystem. Concourse gemmer sine pipelinedata i en PostgreSQL-database. Tilføj PostgreSQL-depotet.

sudo rpm -Uvh https://download.postgresql.org/pub/repos/yum/9.6/redhat/rhel-7-x86_64/pgdg-centos96-9.6-3.noarch.rpm

Installer PostgreSQL-databaseserveren.

sudo yum -y install postgresql96-server postgresql96-contrib

Initialiser databasen.

sudo /usr/pgsql-9.6/bin/postgresql96-setup initdb

initdbopretter en ny PostgreSQL-databaseklynge, som er en samling af databaser, der administreres af en enkelt serverinstans. Rediger pg_hba.conffilen for at aktivere MD5-baseret godkendelse.

sudo nano /var/lib/pgsql/9.6/data/pg_hba.conf

Find følgende linjer og ændre værdierne peerog identi METHODkolonnen til trustog md5hhv.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Når den er opdateret, skal konfigurationen se sådan ud.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Start PostgreSQL-serveren og aktiver den til at starte automatisk ved opstart.

sudo systemctl start postgresql-9.6
sudo systemctl enable postgresql-9.6

Skift adgangskoden til standard PostgreSQL-brugeren.

sudo passwd postgres

Log ind som PostgreSQL-bruger:

sudo su - postgres

Opret en ny PostgreSQL-bruger til Concourse CI.

createuser concourse

Bemærk : Standard PostgreSQL-brugeren kan bruges til autentificering af databasen, men det anbefales at bruge en dedikeret bruger til autentificering af Concourse-databasen i en produktionsopsætning.

PostgreSQL giver en shell til at køre forespørgsler på databasen. Skift til PostgreSQL-skallen ved at køre:

psql

Indstil en adgangskode til den nyoprettede Concourse-databasebruger.

ALTER USER concourse WITH ENCRYPTED password 'DBPassword';

Vigtigt : Erstat DBPasswordmed en stærk adgangskode. Noter adgangskoden, da den vil blive påkrævet senere i selvstudiet.

Opret en ny database til Concourse.

CREATE DATABASE concourse OWNER concourse;

Gå ud af psqlskallen.

\q

Skift til sudo-brugeren fra den nuværende postgres-bruger.

exit

Download og installer Concourse CI

Download den seneste version af Concourse eksekverbar og gem den i, /usr/binså den kan eksekveres direkte. Den seneste version af Concourse og Fly binære filer kan findes på Concourse download side . Nye udgivelser er meget hyppige. Erstat linket nedenfor med det nye link til den seneste version.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/concourse_linux_amd64 -O /usr/bin/concourse

På samme måde skal du downloade den nyeste version af den eksekverbare flue og gemme den i /usr/bin.

sudo wget https://github.com/concourse/concourse/releases/download/v3.4.1/fly_linux_amd64 -O /usr/bin/fly

Fly er kommandolinjegrænsefladen til at oprette forbindelse til ATC API af Concourse CI. Fly er tilgængelig til flere platforme såsom Linux, Windows og MacOS.

Tildel eksekveringstilladelse til de downloadede concourseog flybinære filer.

sudo chmod +x /usr/bin/concourse /usr/bin/fly

Tjek om Concourse og Fly fungerer korrekt ved at tjekke deres version.

concourse -version
fly -version

Generer og opsæt RSA-nøgler

RSA nøglepar giver en måde at kryptere kommunikationen mellem komponenterne i Concourse.

For at Concourse skal fungere, skal der genereres mindst tre par nøgler. For at kryptere sessionsdataene skal du generere en session_signing_key. Denne nøgle vil også blive brugt af TSA til at underskrive de anmodninger, den sender til ATC. For at sikre TSA SSH-serveren skal du generere en tsa_host_key. Til sidst skal du generere en worker_keyfor hver medarbejder.

Opret en ny mappe til at gemme nøglerne og konfigurationen relateret til Concourse CI.

sudo mkdir /opt/concourse

Generer de nødvendige nøgler.

sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/session_signing_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/tsa_host_key
sudo ssh-keygen -t rsa -q -N '' -f /opt/concourse/worker_key

Tillad arbejdernes offentlige nøgle ved at kopiere dens indhold til authorized_worker_keysfilen:

sudo cp /opt/concourse/worker_key.pub /opt/concourse/authorized_worker_keys

Starter Concours

Concourse har to separate komponenter, som skal startes, nettet og arbejderen. Start Concourse-webstedet.

sudo concourse web \
  --basic-auth-username admin \
  --basic-auth-password StrongPass \
  --session-signing-key /opt/concourse/session_signing_key \
  --tsa-host-key /opt/concourse/tsa_host_key \
  --tsa-authorized-keys /opt/concourse/authorized_worker_keys \
  --postgres-user=concourse \
  --postgres-password=DBPassword \
  --postgres-database=concourse \
  --external-url http://192.0.2.1:8080

Skift brugernavn og adgangskode til den, basic-authhvis det ønskes. Sørg for, at stien til nøglefilerne er korrekte, og sørg for, at den korrekte værdi for brugernavn og adgangskode i PostgreSQL-databasekonfigurationen er angivet.

Bemærk : ATC lytter til standardporten, 8080og TSA lytter til porten 2222. Hvis godkendelse ikke ønskes, skal du videregive --no-really-i-dont-want-any-authindstillingen efter at have fjernet de grundlæggende godkendelsesmuligheder.

Når webserveren er startet, skal følgende output vises.

{"timestamp":"1503657859.661247969","source":"tsa","message":"tsa.listening","log_level":1,"data":{}}
{"timestamp":"1503657859.666907549","source":"atc","message":"atc.listening","log_level":1,"data":{"debug":"127.0.0.1:8079","http":"0.0.0.0:8080"}}

Stop serveren for nu, da et par ting stadig skal konfigureres.

Start Concourse CI Worker.

sudo concourse worker \
  --work-dir /opt/concourse/worker \
  --tsa-host 127.0.0.1 \
  --tsa-public-key /opt/concourse/tsa_host_key.pub \
  --tsa-worker-private-key /opt/concourse/worker_key

Ovenstående kommando vil antage, at TSA'en kører på localhost og lytter til standardporten 2222.

Selvom Concourse web og worker nemt kan startes ved hjælp af kommandoerne ovenfor, anbefales det at bruge Systemd til at administrere serveren.

Konfigurer miljø og systemd service

Using Systemd service for managing the application ensures that the application is automatically started on failures and at boot time. The Concourse server does not take data from any configuration file, but it can access the data from environment variables. Instead of setting global environment variables, create a new file to store the environment variables and then pass the variables to the Concourse CI using the Systemd service.

Create a new environment file for Concourse web.

sudo nano /opt/concourse/web.env

Populate the file.

CONCOURSE_SESSION_SIGNING_KEY=/opt/concourse/session_signing_key
CONCOURSE_TSA_HOST_KEY=/opt/concourse/tsa_host_key
CONCOURSE_TSA_AUTHORIZED_KEYS=/opt/concourse/authorized_worker_keys

CONCOURSE_POSTGRES_USER=concourse
CONCOURSE_POSTGRES_PASSWORD=DBPassword
CONCOURSE_POSTGRES_DATABASE=concourse

CONCOURSE_BASIC_AUTH_USERNAME=admin
CONCOURSE_BASIC_AUTH_PASSWORD=StrongPass
CONCOURSE_EXTERNAL_URL=http://192.0.2.1:8080

Change the username and password of the BASIC_AUTH if desired. Make sure that the path to the key files are correct and make sure that the correct value for username and password in the PostgreSQL database configuration is provided.

Similarly, create an environment file for the worker.

sudo nano /opt/concourse/worker.env

Populate the file.

CONCOURSE_WORK_DIR=/opt/concourse/worker
CONCOURSE_TSA_WORKER_PRIVATE_KEY=/opt/concourse/worker_key
CONCOURSE_TSA_PUBLIC_KEY=/opt/concourse/tsa_host_key.pub
CONCOURSE_TSA_HOST=127.0.0.1

As the environment files contain username and passwords, change its permissions so that it cannot be accessed by other users.

sudo chmod 600 /opt/concourse/*.env

Now create a new user for Concourse to run the web environment. This will ensure that the web server is running in an isolated environment.

sudo adduser --system concourse

Give the concourse user ownership over Concourse CI file's directory.

sudo chown -R concourse:concourse /opt/concourse

Create a new systemd service file for the Concourse web service.

sudo nano /etc/systemd/system/concourse-web.service

Populate the file.

[Unit]
Description=Concourse CI web server
After=postgresql-9.6.service

[Service]
Type=simple
User=concourse
Group=concourse
Restart=on-failure
EnvironmentFile=/opt/concourse/web.env
ExecStart=/usr/bin/concourse web
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_web

[Install]
WantedBy=multi-user.target

Save and close the file. Create a new service file for the Concourse worker service.

sudo nano /etc/systemd/system/concourse-worker.service

Populate the file.

[Unit]
Description=Concourse CI worker process
After=concourse-web.service

[Service]
Type=simple
User=root
Group=root
Restart=on-failure
EnvironmentFile=/opt/concourse/worker.env
ExecStart=/usr/bin/concourse worker
StandardOutput=syslog
StandardError=syslog
SyslogIdentifier=concourse_worker

[Install]
WantedBy=multi-user.target

The web and worker service can now be started directly by running:

sudo systemctl start concourse-web concourse-worker

To enable the worker and web process to automatically start at boot time, run:

sudo systemctl enable concourse-worker concourse-web

To check the status of services, run:

sudo systemctl status concourse-worker concourse-web

If the service is not started, or in the FAILED state, remove the cache from the /tmp directory.

sudo rm -rf /tmp/*

Restart the services.

sudo systemctl restart concourse-worker concourse-web

Notice that this time the services have started correctly. The output upon verifying the status of the services should be simil.

[user@vultr ~]$ sudo systemctl status concourse-worker concourse-web
● concourse-worker.service - Concourse CI worker process
   Loaded: loaded (/etc/systemd/system/concourse-worker.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3037 (concourse)
   CGroup: /system.slice/concourse-worker.service
           └─3037 /usr/bin/concourse worker

Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.934722900","source":"tsa","message":"t...""}}
Aug 26 07:27:42 vultr.guest concourse_worker[3037]: {"timestamp":"1503732462.941227913","source":"guardian","messag...0"}}
...

● concourse-web.service - Concourse CI web server
   Loaded: loaded (/etc/systemd/system/concourse-web.service; enabled; vendor preset: disabled)
   Active: active (running) since Sat 2017-08-26 07:27:37 UTC; 55s ago
 Main PID: 3036 (concourse)
   CGroup: /system.slice/concourse-web.service
           └─3036 /usr/bin/concourse web

Aug 26 07:27:57 vultr.guest concourse_web[3036]: {"timestamp":"1503732477.925554752","source":"tsa","message":"tsa...ve"}}
Aug 26 07:28:02 vultr.guest concourse_web[3036]: {"timestamp":"1503732482.925430775","source":"tsa","message":"tsa...ve"}}
...
Hint: Some lines were ellipsized, use -l to show in full.

Adjust your firewall to allow port 8080, on which ATS is running and port 2222, on which TSA is running.

sudo firewall-cmd --zone=public --add-port=8080/tcp --permanent
sudo firewall-cmd --zone=public --add-port=2222/tcp --permanent
sudo firewall-cmd --reload

Connecting to the Server

Once the server is started, the web interface of the Concourse CI can be accessed by going to http://192.0.2.1:8080 in any browser. Log in using the username and password provided in the environment file.

To connect to the server using Fly, run:

fly -t my-ci login -c http://192.0.2.1:8080

The above command is used for initial login to the server. -t is used to provide a target name. replace my-ci with any desired target name. The above command will log in to the default team main. It will ask for the username and password provided in the environment file.

The output will look like the following.

[user@vultr ~]$ fly -t my-ci login -c http://192.0.2.1:8080
logging in to team 'main'

username: admin
password:

target saved

Mållogin gemmes i en dag. Derefter udløber den.

At logge ud med det samme.

fly -t my-ci logout

fly kan bruges til at logge på serveren uden for netværket, men kun hvis serveren har en offentlig IP-adresse, og den er tilgængelig uden for netværket. Windows- eller MacOS-binæren kan downloades fra downloadwebstedet eller fra serverens web-UI.

Opsætning af Nginx Reverse Proxy

Login og andre oplysninger, der sendes via web-UI til Concourse-serveren, er ikke sikret. Forbindelsen er ikke krypteret. En Nginx omvendt proxy kan sættes op med en Let's Encrypt gratis SSL.

Installer Nginx-webserveren og Certbot, som er klientapplikationen til Let's Encrypt CA.

sudo yum -y install certbot-nginx nginx

Start og aktiver Nginx til automatisk at starte ved opstart:

sudo systemctl start nginx
sudo systemctl enable nginx

Før en anmodning kan foretages for certifikaterne, skal port 80 og 443 eller standard HTTP- og HTTPS-tjenester aktiveres via firewallen. Certbot kontrollerer domæneautoriteten, før den udsteder certifikater.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent

Port 8080 behøver ikke længere at tillades gennem firewallen længere, fordi Concourse nu vil blive kørt på standard HTTPS-porten. Fjern firewall-indgangen for at tillade port 8080.

sudo firewall-cmd --zone=public --remove-port=8080/tcp --permanent
sudo firewall-cmd --reload

Bemærk

To obtain certificates from Let's Encrypt CA, the domain for which the certificates are to be generated must be pointed towards the server. If not, make the necessary changes to the DNS records of the domain and wait for the DNS to propagate before making the certificate request again. Certbot checks the domain authority before providing the certificates.

Generer SSL-certifikaterne.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

De genererede certifikater vil sandsynligvis blive gemt i /etc/letsencrypt/live/ci.example.com/mappen. SSL-certifikatet vil blive gemt som, fullchain.pemog den private nøgle vil blive gemt som privkey.pem.

Lad os kryptere certifikater udløber om 90 dage, så det anbefales automatisk fornyelse, da certifikaterne er sat op ved hjælp af cronjobs. Cron er en systemtjeneste, som bruges til at køre periodiske opgaver.

Åbn cron-jobfilen.

sudo crontab -e

Tilføj følgende linje i slutningen af ​​filen.

30 5 * * 1 /usr/bin/certbot renew --quiet

Ovenstående cron-job kører hver mandag kl. 05.30. Hvis certifikatet udløber, vil det automatisk blive fornyet.

Opret en ny virtuel vært.

sudo nano /etc/nginx/conf.d/concourse-ssl.conf

Udfyld filen.

server {
    listen 80;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}
server {

    listen 443;
    server_name ci.example.com;

    ssl_certificate           /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key       /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl on;
    ssl_session_cache  builtin:1000  shared:SSL:10m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    access_log    /var/log/nginx/concourse.access.log;

    location / {

      proxy_set_header        Host $host;
      proxy_set_header        X-Real-IP $remote_addr;
      proxy_set_header        X-Forwarded-For $proxy_add_x_forwarded_for;
      proxy_set_header        X-Forwarded-Proto $scheme;
      proxy_pass          http://localhost:8080;
      proxy_read_timeout  90;

      proxy_redirect      http://localhost:8080 https://ci.example.com;
    }
  }

Bemærk : Erstat ci.example.commed det faktiske domæne.

Rediger miljøfilen, der er oprettet til concourse Web.

sudo nano /opt/concourse/web.env

Skift værdien af CONCOURSE_EXTERNAL_URLog tilføj også yderligere to linjer i slutningen af ​​filen.

CONCOURSE_EXTERNAL_URL=https://ci.example.com
CONCOURSE_BIND_IP=127.0.0.1
CONCOURSE_BIND_PORT=8080

Gem filen og genstart Concourse Web, Worker og Nginx webserver:

sudo systemctl restart concourse-worker concourse-web nginx

Alle data, der sendes til og fra browseren, er nu sikret med SSL-krypteringer.