Kako namestiti in konfigurirati Buildbot na CentOS 7

Buildbot je odprtokodno orodje za stalno integracijo, ki temelji na Pythonu za avtomatizacijo gradnje, testiranja in uvajanja programske opreme. Buildbot je sestavljen iz enega ali več poveljnikov Buildbot in več delavcev. Buildbot master ali Buildmaster ima osrednji nadzor nad sistemom. Odgovoren je za upravljanje gradbenega okolja, delavcev in sprejema vse odločitve o pošiljanju delovnih mest delavcem. Buildmaster zazna spremembe v repozitoriju kode in pošlje ukaze ali opravila delavcem, da jih izvedejo. Delavci opravijo opravila in rezultat vrnejo Buildmasterju. Buildmaster nato obvesti razvijalce prek več podprtih kanalov. V tej vadnici bomo na CentOS 7 namestili Buildbot master in worker. Prav tako bomo konfigurirali preverjanje pristnosti in Nginx kot zaščiten povratni proxy.

Predpogoji

• Primerek strežnika Vultr CentOS 7 z vsaj 1 GB RAM-a.
• Uporabnik sudo .
• Registrirano ime domene je usmerjeno proti strežniku.

Za to vadnico bomo uporabili 192.168.1.1kot javni naslov IP in ci.example.comkot ime domene, usmerjeno proti primerku Vultr. Poskrbite, da boste zamenjali vse pojavitve vzorčnega imena domene in naslova IP z dejanskim.

Posodobite svoj osnovni sistem z uporabo priročnika Kako posodobiti CentOS 7 . Ko je vaš sistem posodobljen, nadaljujte z namestitvijo PostgreSQL.

Namestite odvisnosti Python

Namestite Pip, ki je upravitelj paketov za Python.

sudo yum -y install epel-release
sudo yum -y install python-pip gcc python-devel git
sudo pip install --upgrade pip

Namestite PostgreSQL

Buildbot podpira več vrst strežnikov baz podatkov, kot so MySQL, PostgreSQL in SQLite. V tej vadnici bomo uporabili PostgreSQL za gostovanje strežnika baze podatkov Buildbot.

PostgreSQL je objektno-relacijski sistem baz podatkov, znan po svoji stabilnosti in hitrosti. Privzeto yumskladišče vsebuje staro različico PostgreSQL, zato dodajte repozitorij PostgreSQL.

sudo yum -y install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-1.noarch.rpm

Namestite strežnik baze podatkov PostgreSQL.

sudo yum -y install postgresql10-server postgresql10-contrib postgresql10 

Inicializirajte bazo podatkov.

sudo /usr/pgsql-10/bin/postgresql-10-setup initdb

Zaženite strežnik PostgreSQL in omogočite, da se samodejno zažene ob zagonu.

sudo systemctl start postgresql-10
sudo systemctl enable postgresql-10

Spremenite geslo za privzetega uporabnika PostgreSQL.

sudo passwd postgres

Prijavite se kot uporabnik PostgreSQL.

sudo su - postgres

Ustvarite novega uporabnika PostgreSQL za Buildbot.

createuser bb_user

Namesto , lahko uporabite katero koli uporabniško ime bb_user, če želite. PostgreSQL ponuja psqllupino za izvajanje poizvedb v bazi podatkov. Preklopite na lupino PostgreSQL.

psql

Nastavite geslo za novoustvarjenega uporabnika.

ALTER USER bb_user WITH ENCRYPTED password 'DBPassword';

Zamenjajte DBPasswordz varnim geslom.

Ustvarite novo bazo podatkov za namestitev Buildbot.

CREATE DATABASE buildbot OWNER bb_user;

Izstopite iz psqllupine.

\q

Preklopite na sudouporabnika.

exit

Uredite pg_hba.confdatoteko, da omogočite preverjanje pristnosti na podlagi MD5.

sudo nano /var/lib/pgsql/10/data/pg_hba.conf

Poiščite naslednje vrstice in spremenite vrednosti peerin ident, v METHODstolpcu, v trustin md5.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Ko bo konfiguracija posodobljena, bo videti kot naslednje besedilo.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Shranite datoteko in zapustite urejevalnik. Namestite adapter baze podatkov PostgreSQL za Python.

sudo pip install psycopg2

Znova zaženite PostgreSQL, da bodo spremembe začele veljati.

sudo systemctl restart postgresql-10

Namestite Buildbot

Namestite Buildbot s programom Pip.

sudo pip install 'buildbot[bundle]' pyopenssl service_identity

Zgornji ukaz bo namestil Buildbot skupaj z buildbot-www, buildbot-worker, in več spletnimi vtičniki, kot je buildbot-waterfall-view.

Če želite zagotoviti, da je bil Buildbot uspešno nameščen, lahko preverite tako, da preverite različico Buildbota.

buildbot --version

Rezultat mora biti podoben naslednjemu besedilu.

[user@vultr ~]$ buildbot --version
Buildbot version: 0.9.15.post1
Twisted version: 17.9.0

Spremenite pravila požarnega zidu, da dovolite vrata 8010. Buildbot uporablja ta vrata za poslušanje spletnih zahtev.

sudo firewall-cmd --zone=public --add-port=8010/tcp --permanent
sudo firewall-cmd --reload

Konfigurirajte Buildbot Master

Ustvarite novega neprivilegiranega uporabnika za izvajanje glavnih in delovnih procesov Buildbot. Ni priporočljivo izvajati glavne storitve Buildbot kot rootuporabnik.

sudo adduser buildbot
sudo passwd buildbot

Prijavite se kot novoustvarjeni buildbotuporabnik.

sudo su - buildbot

Nastavite glavni Buildbot v /home/buildbot/masterimeniku. Ta imenik bo vseboval konfiguracijske, statusne in dnevniške datoteke vsake gradnje.

buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master

Prepričajte se, da ste v zgornjem ukazu zamenjali poverilnice uporabnika baze podatkov.

Opomba: Če želite namesto PostgreSQL uporabiti bazo podatkov SQLite, preprosto izpustite to --db 'postgresql://bb_user:DBpassword@localhost/buildbot'možnost. Baza podatkov SQLite bo ustvarjena v istem imeniku.

Zgornji ukaz bo ustvaril ~/masterimenik za shranjevanje datotek Buildmaster. Podatke bo zapisal tudi v bazo podatkov PostgreSQL. Dobili boste naslednji rezultat.

[buildbot@vultr ~]$ buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master
mkdir /home/buildbot/master
creating /home/buildbot/master/master.cfg.sample
creating database (postgresql://bb_user:DBPassword@localhost/buildbot)
buildmaster configured in /home/buildbot/master

Kopirajte vzorčno konfiguracijsko datoteko v živo konfiguracijsko datoteko.

cp ~/master/master.cfg.sample ~/master/master.cfg

Uredite konfiguracijsko datoteko.

nano ~/master/master.cfg

Poiščite naslednje vrstice.

c['workers'] = [worker.Worker("example-worker", "pass")]
...

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["example-worker"],
      factory=factory))
...

c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
...

c['buildbotURL'] = "http://localhost:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}

Zgornja konfiguracija ima vnos za vzorčnega delavca. Spremenili bomo vzorčni vnos za delavca, na katerem bomo izvajali localhost. Spremenite v example-workerkatero koli primerno ime za localhostdelavca in spremenite v passkakšno drugo geslo. Zabeležite si ime in geslo delavca, saj ga bomo zahtevali pozneje v vadnici. Spremenite ime delavca na seznamu graditeljev. Spremenite ime aplikacije in URL projekta glede na vaše potrebe.

Spremenite URL Buildbot iz localhostv vaše dejansko ime domene ali javni naslov IP. Preverite tudi, ali se informacije baze podatkov v konfiguracijski datoteki ujemajo z vašimi dejanskimi poverilnicami baze podatkov.

Na koncu datoteke dodajte c['buildbotNetUsageData'] = None. Ta parameter bo onemogočil pošiljanje podatkov o različici programske opreme in podrobnosti o uporabi vtičnika razvijalcem. Če pa želite omogočiti pošiljanje informacij o uporabi, spremenite možnost v Full.

Konfiguracija mora izgledati kot naslednje besedilo.

c['workers'] = [worker.Worker("localhost-worker", "Password123")]
...    

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["localhost-worker"],
      factory=factory))
...

c['title'] = "My Application CI"
c['titleURL'] = "https://example.com/my-app"
...

c['buildbotURL'] = "http://192.168.1.1:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}
...

c['buildbotNetUsageData'] = None

Shranite datoteko in zapustite urejevalnik. Preverite konfiguracijsko datoteko za napake.

buildbot checkconfig ~/master

Če konfiguracijska datoteka nima napak, boste videli naslednji rezultat.

[buildbot@vultr ~]$ buildbot checkconfig ~/master
Config file is good!

Zdaj, ko je vse pravilno konfigurirano, lahko zaženete Buildbot master.

buildbot start ~/master

Videli boste naslednji izhod.

[buildbot@vultr ~]$ buildbot start ~/master
Following twistd.log until startup finished..
The buildmaster appears to have (re)started correctly.

Now that the Buildbot master has started correctly, the web user interface is accessible at http://192.168.1.1:8010. You should see the following Buildbot interface.

Configure Buildbot Worker

Since we have already modified the worker configuration in ~/master/master.cfg, we can proceed to create a new worker.

buildbot-worker create-worker ~/worker localhost localhost-worker Password123

Make sure that you use the exact same worker name and password as mentioned in ~/master/master.cfg file. If there's a mismatch in worker name or password, the worker will not be able to connect to the Buildbot master. You will see the following output upon successful execution.

[buildbot@vultr ~]$ buildbot-worker create-worker ~/worker localhost example-worker pass
mkdir /home/buildbot/worker
mkdir /home/buildbot/worker/info
Creating info/admin, you need to edit it appropriately.
Creating info/host, you need to edit it appropriately.
Not creating info/access_uri - add it if you wish
Please edit the files in /home/buildbot/worker/info appropriately.
worker configured in /home/buildbot/worker

Information about the worker is stored in the /info directory. Edit the administrative information about the developer.

nano ~/worker/info/admin

Replace the example name with your actual name and email.

Your Name <[email protected]>

Now, open the file containing information about the host.

nano ~/worker/info/host

Replace the example instruction with the actual information about the host system.

Localhost, CentOS 7

The worker admin and host information is only used to tell the users about the system. You can also add additional information about the system such as Buildbot version and Twisted version.

Start the worker.

buildbot-worker start ~/worker

The output will look like the following text.

[buildbot@vultr ~]$ buildbot-worker start ~/worker
Following twistd.log until startup finished..
The buildbot-worker appears to have (re)started correctly.

To check if the worker is registered, head to the web interface of Buildbot and navigate to Builds >> Workers from the left navigation. You should see that the worker is up and ready to build.

To run a sample build, to check if the Buildbot worker is running successfully, navigate to Builds >> Builders. Click on the runtests builder name to open the builder interface and click on the Force button to force a build. Provide your name and click on the Start Build button to start the build. Since it is a sample build test to check the Buildbot environment, it will finish in a couple of seconds. You will get a success message and the build result.

Setting up Systemd Service

Although the Buildbot master and worker can be easily started using the commands above, it is recommended to use Systemd units to run and manage the Buildbot services. This will ensure that they are automatically started on system restart and failures.

Note: Switch to the sudo user again by running either exit or su <username>. From now on all the commands need to be executed by the sudo user.

Stop the running Buildbot worker and master service.

sudo su buildbot -c "buildbot stop /home/buildbot/master" 
sudo su buildbot -c "buildbot-worker stop ~/worker"

Create a new Systemd unit file for the Buildbot master.

sudo nano /etc/systemd/system/buildbot.service

Populate the file.

[Unit]
Description=BuildBot master service 
After=network.target

[Service]
Type=forking
User=buildbot 
Group=buildbot 
WorkingDirectory=/home/buildbot/master 
ExecStart=/usr/bin/buildbot start
ExecStop=/usr/bin/buildbot stop
ExecReload=/usr/bin/buildbot restart

[Install]
WantedBy=multi-user.target

Start the Buildbot master and enable it to automatically start at boot time.

sudo systemctl start buildbot
sudo systemctl enable buildbot

Create a new Systemd unit file for the Buildbot worker.

sudo nano /etc/systemd/system/buildbot-worker.service

Populate the file.

[Unit]
Description=BuildBot worker service
After=network.target

[Service]
Type=forking
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/bin/buildbot-worker start
ExecStop=/usr/bin/buildbot-worker stop
ExecReload=/usr/bin/buildbot-worker restart

[Install]
WantedBy=multi-user.target

Start the Buildbot worker and enable it to automatically start at boot time.

sudo systemctl start buildbot-worker
sudo systemctl enable buildbot-worker

You can check the status of the services.

sudo systemctl status buildbot buildbot-worker

If the services are running smoothly, you will see that in the output.

[user@vultr ~]$ sudo systemctl status buildbot buildbot-worker
● buildbot.service - BuildBot master service
...
Active: active (running) since Fri 2018-01-12 16:00:59 UTC; 1min 25s ago
...
Jan 12 16:00:59 vultr.guest systemd[1]: Started BuildBot master service.

● buildbot-worker.service - BuildBot worker service
...
Active: active (running) since Fri 2018-01-12 16:02:00 UTC; 24s ago
...
Jan 12 16:02:00 vultr.guest systemd[1]: Started BuildBot worker service.

Enabling Authentication

Privzeto preverjanje pristnosti ni omogočeno v spletnem vmesniku Buildbot. Za spletna mesta, ki so obrnjena na internet, je močno priporočljivo, da nastavite preverjanje pristnosti, tako da imajo lahko samo pooblaščeni uporabniki možnost izvajanja upravnih nalog. Če želite nastaviti preverjanje pristnosti, znova odprite glavno konfiguracijsko datoteko Buildbot.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Na konec datoteke dodajte naslednje vrstice.

c['www']['authz'] = util.Authz(
       allowRules = [
           util.AnyEndpointMatcher(role="admins")
       ],
       roleMatchers = [
           util.RolesFromUsername(roles=['admins'], usernames=['admin_user'])
       ]
)
c['www']['auth'] = util.UserPasswordAuth({'admin_user': 'AdminPassword'})

Obe pojavitvi zamenjajte admin_userz dejanskim uporabniškim imenom, ki ga želite uporabiti, in AdminPasswordz močnim geslom.

Preverite napake v konfiguracijski datoteki.

sudo su buildbot -c "buildbot checkconfig /home/buildbot/master"

Znova zaženite glavno storitev Buildbot, da bodo spremembe začele veljati.

sudo systemctl restart buildbot

Ponovno brskajte po spletnem vmesniku in se prepričajte, da si lahko anonimni uporabniki ogledajo le osnovne podrobnosti o strežniku za gradnjo. Zdaj se prijavite s poverilnicami, določenimi v master.cfgdatoteki, in videli boste, da so vse druge skrbniške funkcije na voljo samo prijavljenemu skrbniškemu uporabniku.

Zaščita Buildbota z Let's Encrypt SSL

Buildbot privzeto posluša vrata 8010na nezavarovanih povezavah. Zavarovanje spletnega vmesnika HTTPSje priporočljivo, da zagotovite, da so podatki med prenosom iz brskalnika v strežnik varni. V tem razdelku vadnice bomo namestili in zavarovali Nginx z brezplačnimi SSL certifikati Let's Encrypt. Spletni strežnik Nginx bo deloval kot povratni proxy za posredovanje dohodnih zahtev na končno točko HTTP Buildbot.

Namestite Nginx.

sudo yum -y install nginx

Zaženite Nginx in omogočite, da se samodejno zažene ob zagonu.

sudo systemctl start nginx
sudo systemctl enable nginx

Namestite Certbot, ki je odjemalska aplikacija za Let's Encrypt CA.

sudo yum -y install certbot

Preden lahko zahtevate potrdila, boste morali prek požarnega zidu dovoliti vrata 80in/ 443ali standard HTTPter HTTPSstoritve. Prav tako odstranite vrata 8010, ki poslušajo nezavarovane povezave.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --zone=public --remove-port=8010/tcp --permanent
sudo firewall-cmd --reload

Opomba: Če želite pridobiti potrdila od Let's Encrypt CA, mora biti domena, za katero naj bi bila generirana potrdila, usmerjena proti strežniku. Če ne, naredite potrebne spremembe v zapisih DNS domene in počakajte, da se DNS razširi, preden znova pošljete zahtevo za potrdilo. Certbot preveri avtoriteto domene, preden zagotovi potrdila.

Ustvarite SSL potrdila.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Ustvarjena potrdila bodo verjetno shranjena v /etc/letsencrypt/live/ci.example.com/imeniku. Potrdilo SSL bo shranjeno kot, fullchain.pemzasebni ključ pa kot privkey.pem.

Potrdila Let's Encrypt potečejo v 90 dneh, zato je priporočljivo, da nastavite samodejno obnavljanje potrdil s pomočjo opravil Cron.

Odprite datoteko opravila cron za rootuporabnika.

sudo crontab -e

Dodajte naslednjo vrstico na konec datoteke.

30 5 * * * /usr/bin/certbot renew --quiet

Zgornje opravilo cron se bo izvajalo vsak dan ob 5.30. Če potrdilo poteče, ga bo samodejno podaljšalo.

Zdaj spremenite privzeto konfiguracijsko datoteko Nginx, da odstranite default_servervrstico.

sudo sed -i 's/default_server//g' /etc/nginx/nginx.conf

Ustvarite novo konfiguracijsko datoteko za spletni vmesnik Buildbot.

sudo nano /etc/nginx/conf.d/buildbot.conf

Izpolnite datoteko.

upstream buildbot {
server 127.0.0.1:8010;
}

server {
    listen 80 default_server;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2 default_server;
    server_name ci.example.com;

    root html;
    index index.html index.htm;

    ssl on;
    ssl_certificate         /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key     /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl_session_cache      shared:SSL:10m;
    ssl_session_timeout  1440m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    add_header Strict-Transport-Security "max-age=31536000; includeSubdomains;";

    access_log  /var/log/nginx/buildbot.access.log;

    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto  $scheme;
    proxy_set_header X-Forwarded-Server  $host;
    proxy_set_header X-Forwarded-Host  $host;

    location / {
        proxy_pass http://buildbot;
    }
    location /sse/ {
        proxy_buffering off;
        proxy_pass http://buildbot/sse/;
    }
    location /ws {
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_pass http://buildbot/ws;
        proxy_read_timeout 6000s;
    }
}

Preverite, ali so v novi konfiguracijski datoteki napake.

sudo nginx -t

Če vidite naslednji izhod, je konfiguracija brez napak.

[user@vultr ~]$ sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

Če ste prejeli kakšno napako, preverite pot do potrdil SSL. Znova zaženite spletni strežnik Nginx, da izvedete spremembo konfiguracije.

sudo systemctl restart nginx

Odprite konfiguracijsko datoteko Buildmaster.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Poiščite naslednjo vrstico.

c['buildbotURL'] = "http://192.168.1.1:8010/"

Spremenite URL glede na ime domene, ki ga uporabljate.

c['buildbotURL'] = "https://ci.example.com/"

Znova zaženite glavno storitev Buildbot.

sudo systemctl restart buildbot

Zdaj lahko dostopate do nadzorne plošče Buildbot na https://ci.example.com. Videli boste, da so povezave z Buildbotom zdaj zavarovane s SSL.

Prijavite se s skrbniškimi poverilnicami in dodajte svoj prvi cevovod, da začnete graditi svojo aplikacijo.