Kā instalēt un konfigurēt Buildbot operētājsistēmā CentOS 7

Buildbot ir atvērtā pirmkoda Python bāzes nepārtrauktas integrācijas rīks, lai automatizētu programmatūras izveidi, testēšanu un izvietošanu. Buildbot sastāv no viena vai vairākiem Buildbot meistara un vairākiem darbiniekiem. Buildbot master vai Buildmaster ir centrālā sistēmas vadība. Tā ir atbildīga par būvniecības vides, darbinieku pārvaldību un pieņem visus lēmumus par darba vietu nosūtīšanu darbiniekiem. Buildmaster nosaka izmaiņas koda krātuvē un nosūta komandas vai darbus darbiniekiem, lai tās izpildītu. Strādnieki izpilda darbus un atdod rezultātu Buildmaster. Pēc tam Buildmaster informē izstrādātājus, izmantojot vairākus atbalstītos kanālus. Šajā apmācībā mēs instalēsim Buildbot galveno un darbinieku operētājsistēmā CentOS 7. Mēs arī konfigurēsim autentifikāciju un Nginx kā drošu reverso starpniekserveri.

Priekšnoteikumi

• Vultr CentOS 7 servera gadījums ar vismaz 1 GB RAM.
• Sudo lietotāju .
• Reģistrēts domēna vārds norādīja uz serveri.

Šajā apmācībā mēs izmantosim 192.168.1.1kā publisko IP adresi un ci.example.comkā domēna nosaukumu, kas norādīts uz Vultr instanci. Lūdzu, noteikti aizstājiet visus domēna nosaukuma un IP adreses piemēra gadījumus ar faktisko.

Atjauniniet savu bāzes sistēmu, izmantojot rokasgrāmatu Kā atjaunināt CentOS 7 . Kad sistēma ir atjaunināta, turpiniet instalēt PostgreSQL.

Instalējiet Python atkarības

Instalējiet Pip, kas ir Python pakotņu pārvaldnieks.

sudo yum -y install epel-release
sudo yum -y install python-pip gcc python-devel git
sudo pip install --upgrade pip

Instalējiet PostgreSQL

Buildbot atbalsta vairāku veidu datu bāzes serverus, piemēram, MySQL, PostgreSQL un SQLite. Šajā apmācībā mēs izmantosim PostgreSQL, lai mitinātu Buildbot datu bāzes serveri.

PostgreSQL ir objektu relāciju datu bāzes sistēma, kas pazīstama ar savu stabilitāti un ātrumu. Noklusējuma yumrepozitorijā ir veca PostgreSQL versija, tāpēc pievienojiet PostgreSQL repozitoriju.

sudo yum -y install https://download.postgresql.org/pub/repos/yum/10/redhat/rhel-7-x86_64/pgdg-centos10-10-1.noarch.rpm

Instalējiet PostgreSQL datu bāzes serveri.

sudo yum -y install postgresql10-server postgresql10-contrib postgresql10 

Inicializējiet datu bāzi.

sudo /usr/pgsql-10/bin/postgresql-10-setup initdb

Palaidiet PostgreSQL serveri un iespējojiet tā automātisku palaišanu sāknēšanas laikā.

sudo systemctl start postgresql-10
sudo systemctl enable postgresql-10

Mainiet noklusējuma PostgreSQL lietotāja paroli.

sudo passwd postgres

Piesakieties kā PostgreSQL lietotājs.

sudo su - postgres

Izveidojiet jaunu PostgreSQL lietotāju Buildbot.

createuser bb_user

Ja vēlaties, varat izmantot jebkuru lietotājvārdu vietā bb_user. PostgreSQL nodrošina psqlčaulu, lai palaistu vaicājumus datu bāzē. Pārslēdzieties uz PostgreSQL čaulu.

psql

Iestatiet paroli jaunizveidotajam lietotājam.

ALTER USER bb_user WITH ENCRYPTED password 'DBPassword';

Aizstāt DBPasswordar drošu paroli.

Izveidojiet jaunu datu bāzi Buildbot instalēšanai.

CREATE DATABASE buildbot OWNER bb_user;

Iziet no psqlčaulas.

\q

Pārslēdzieties uz sudolietotāju.

exit

Rediģējiet pg_hba.conffailu, lai iespējotu MD5 balstītu autentifikāciju.

sudo nano /var/lib/pgsql/10/data/pg_hba.conf

Atrast šādas līnijas un mainīt vērtības peer, un ident, jo METHODkolonnā, lai trustun md5, attiecīgi.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     peer
# IPv4 local connections:
host    all             all             127.0.0.1/32            ident
# IPv6 local connections:
host    all             all             ::1/128                 ident

Pēc atjaunināšanas konfigurācija izskatīsies šādi.

# TYPE  DATABASE        USER            ADDRESS                 METHOD

# "local" is for Unix domain socket connections only
local   all             all                                     trust
# IPv4 local connections:
host    all             all             127.0.0.1/32            md5
# IPv6 local connections:
host    all             all             ::1/128                 md5

Saglabājiet failu un izejiet no redaktora. Instalējiet PostgreSQL datu bāzes adapteri Python.

sudo pip install psycopg2

Restartējiet PostgreSQL, lai izmaiņas stātos spēkā.

sudo systemctl restart postgresql-10

Instalējiet Buildbot

Instalējiet Buildbot, izmantojot Pip.

sudo pip install 'buildbot[bundle]' pyopenssl service_identity

Iepriekš komanda būs instalēt Buildbot kopā ar buildbot-www, buildbot-worker, un vairāki web plugins, piemēram, buildbot-waterfall-view.

Lai pārliecinātos, ka Buildbot ir veiksmīgi instalēts, varat pārbaudīt, pārbaudot Buildbot versiju.

buildbot --version

Izvadei vajadzētu atgādināt šādu tekstu.

[user@vultr ~]$ buildbot --version
Buildbot version: 0.9.15.post1
Twisted version: 17.9.0

Mainiet savus ugunsmūra noteikumus, lai atļautu portu 8010. Buildbot izmanto šo portu, lai noklausītos tīmekļa pieprasījumus.

sudo firewall-cmd --zone=public --add-port=8010/tcp --permanent
sudo firewall-cmd --reload

Konfigurējiet Buildbot Master

Izveidojiet jaunu nepievilcīgu lietotāju, lai palaistu Buildbot galveno un darbinieku procesus. Nav ieteicams kā lietotājam palaist Buildbot galvenos pakalpojumus root.

sudo adduser buildbot
sudo passwd buildbot

Piesakieties kā jaunizveidotais buildbotlietotājs.

sudo su - buildbot

Iestatiet Buildbot galveno /home/buildbot/masterdirektorijā. Šajā direktorijā būs katra būvējuma konfigurācija, statuss un žurnālfaili.

buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master

Iepriekš minētajā komandā noteikti nomainiet datu bāzes lietotāja akreditācijas datus.

Piezīme. Ja vēlaties izmantot SQLite datu bāzi, nevis PostgreSQL, vienkārši izlaidiet šo --db 'postgresql://bb_user:DBpassword@localhost/buildbot'opciju. SQLite datu bāze tiks izveidota tajā pašā direktorijā.

Iepriekš minētā komanda izveidos ~/masterdirektoriju Buildmaster failu glabāšanai. Tas arī ierakstīs datus PostgreSQL datu bāzē. Jūs saņemsiet šādu izvadi.

[buildbot@vultr ~]$ buildbot create-master --db 'postgresql://bb_user:DBPassword@localhost/buildbot' ~/master
mkdir /home/buildbot/master
creating /home/buildbot/master/master.cfg.sample
creating database (postgresql://bb_user:DBPassword@localhost/buildbot)
buildmaster configured in /home/buildbot/master

Kopējiet konfigurācijas faila paraugu dzīvā konfigurācijas failā.

cp ~/master/master.cfg.sample ~/master/master.cfg

Rediģējiet konfigurācijas failu.

nano ~/master/master.cfg

Atrodiet šādas rindas.

c['workers'] = [worker.Worker("example-worker", "pass")]
...

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["example-worker"],
      factory=factory))
...

c['title'] = "Hello World CI"
c['titleURL'] = "https://buildbot.github.io/hello-world/"
...

c['buildbotURL'] = "http://localhost:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}

Iepriekš minētajā konfigurācijā ir ieraksts paraugdarbiniekam. Mēs pārveidosim parauga ierakstu darbiniekam, ar kuru mēs darbosimies localhost. Mainiet example-workeruz jebkuru piemērotu localhostdarbinieka vārdu un nomainiet passparoli uz citu. Pierakstiet darbinieka vārdu un paroli, jo mēs to prasīsim vēlāk apmācībā. Mainiet strādnieka vārdu celtnieku sarakstā. Mainiet pieteikuma nosaukumu un projekta URL atbilstoši savām vajadzībām.

Mainiet Buildbot URL no localhostuz savu faktisko domēna nosaukumu vai publisko IP adresi. Tāpat pārbaudiet, vai datu bāzes informācija konfigurācijas failā atbilst jūsu faktiskajiem datu bāzes akreditācijas datiem.

Faila beigās pievienojiet c['buildbotNetUsageData'] = None. Šis parametrs atspējos programmatūras versijas informācijas un informācijas par spraudņa lietojumu sūtīšanu izstrādātājiem. Tomēr, lai iespējotu lietošanas informācijas sūtīšanu, mainiet opciju uz Full.

Konfigurācijai vajadzētu izskatīties šādi.

c['workers'] = [worker.Worker("localhost-worker", "Password123")]
...    

c['builders'].append(
    util.BuilderConfig(name="runtests",
      workernames=["localhost-worker"],
      factory=factory))
...

c['title'] = "My Application CI"
c['titleURL'] = "https://example.com/my-app"
...

c['buildbotURL'] = "http://192.168.1.1:8010/"
...

c['db'] = {
    'db_url' : "postgresql://bb_user:DBpassword@localhost/buildbot",
}
...

c['buildbotNetUsageData'] = None

Saglabājiet failu un izejiet no redaktora. Pārbaudiet, vai konfigurācijas failā nav kļūdu.

buildbot checkconfig ~/master

Ja konfigurācijas failā nav kļūdu, jūs redzēsit šādu izvadi.

[buildbot@vultr ~]$ buildbot checkconfig ~/master
Config file is good!

Tagad, kad viss ir pareizi konfigurēts, varat palaist Buildbot galveno.

buildbot start ~/master

Jūs redzēsit šādu izvadi.

[buildbot@vultr ~]$ buildbot start ~/master
Following twistd.log until startup finished..
The buildmaster appears to have (re)started correctly.

Now that the Buildbot master has started correctly, the web user interface is accessible at http://192.168.1.1:8010. You should see the following Buildbot interface.

Configure Buildbot Worker

Since we have already modified the worker configuration in ~/master/master.cfg, we can proceed to create a new worker.

buildbot-worker create-worker ~/worker localhost localhost-worker Password123

Make sure that you use the exact same worker name and password as mentioned in ~/master/master.cfg file. If there's a mismatch in worker name or password, the worker will not be able to connect to the Buildbot master. You will see the following output upon successful execution.

[buildbot@vultr ~]$ buildbot-worker create-worker ~/worker localhost example-worker pass
mkdir /home/buildbot/worker
mkdir /home/buildbot/worker/info
Creating info/admin, you need to edit it appropriately.
Creating info/host, you need to edit it appropriately.
Not creating info/access_uri - add it if you wish
Please edit the files in /home/buildbot/worker/info appropriately.
worker configured in /home/buildbot/worker

Information about the worker is stored in the /info directory. Edit the administrative information about the developer.

nano ~/worker/info/admin

Replace the example name with your actual name and email.

Your Name <[email protected]>

Now, open the file containing information about the host.

nano ~/worker/info/host

Replace the example instruction with the actual information about the host system.

Localhost, CentOS 7

The worker admin and host information is only used to tell the users about the system. You can also add additional information about the system such as Buildbot version and Twisted version.

Start the worker.

buildbot-worker start ~/worker

The output will look like the following text.

[buildbot@vultr ~]$ buildbot-worker start ~/worker
Following twistd.log until startup finished..
The buildbot-worker appears to have (re)started correctly.

To check if the worker is registered, head to the web interface of Buildbot and navigate to Builds >> Workers from the left navigation. You should see that the worker is up and ready to build.

To run a sample build, to check if the Buildbot worker is running successfully, navigate to Builds >> Builders. Click on the runtests builder name to open the builder interface and click on the Force button to force a build. Provide your name and click on the Start Build button to start the build. Since it is a sample build test to check the Buildbot environment, it will finish in a couple of seconds. You will get a success message and the build result.

Setting up Systemd Service

Although the Buildbot master and worker can be easily started using the commands above, it is recommended to use Systemd units to run and manage the Buildbot services. This will ensure that they are automatically started on system restart and failures.

Piezīme: Pārslēgt uz sudolietotāja atkal darbojas, vai nu exit, vai su <username>. No šī brīža visas komandas ir jāizpilda sudolietotājam.

Apturiet darbojošos Buildbot darbinieka un galvenā pakalpojuma darbību.

sudo su buildbot -c "buildbot stop /home/buildbot/master" 
sudo su buildbot -c "buildbot-worker stop ~/worker"

Izveidojiet jaunu Systemd vienības failu Buildbot šablonam.

sudo nano /etc/systemd/system/buildbot.service

Aizpildiet failu.

[Unit]
Description=BuildBot master service 
After=network.target

[Service]
Type=forking
User=buildbot 
Group=buildbot 
WorkingDirectory=/home/buildbot/master 
ExecStart=/usr/bin/buildbot start
ExecStop=/usr/bin/buildbot stop
ExecReload=/usr/bin/buildbot restart

[Install]
WantedBy=multi-user.target

Palaidiet Buildbot galveno un iespējojiet to automātiski palaist sāknēšanas laikā.

sudo systemctl start buildbot
sudo systemctl enable buildbot

Izveidojiet jaunu Systemd vienības failu Buildbot darbiniekam.

sudo nano /etc/systemd/system/buildbot-worker.service

Aizpildiet failu.

[Unit]
Description=BuildBot worker service
After=network.target

[Service]
Type=forking
User=buildbot
Group=buildbot
WorkingDirectory=/home/buildbot/worker
ExecStart=/usr/bin/buildbot-worker start
ExecStop=/usr/bin/buildbot-worker stop
ExecReload=/usr/bin/buildbot-worker restart

[Install]
WantedBy=multi-user.target

Palaidiet Buildbot darbinieku un iespējojiet to automātiski palaist sāknēšanas laikā.

sudo systemctl start buildbot-worker
sudo systemctl enable buildbot-worker

Jūs varat pārbaudīt pakalpojumu statusu.

sudo systemctl status buildbot buildbot-worker

Ja pakalpojumi darbojas nevainojami, to redzēsit izvadē.

[user@vultr ~]$ sudo systemctl status buildbot buildbot-worker
● buildbot.service - BuildBot master service
...
Active: active (running) since Fri 2018-01-12 16:00:59 UTC; 1min 25s ago
...
Jan 12 16:00:59 vultr.guest systemd[1]: Started BuildBot master service.

● buildbot-worker.service - BuildBot worker service
...
Active: active (running) since Fri 2018-01-12 16:02:00 UTC; 24s ago
...
Jan 12 16:02:00 vultr.guest systemd[1]: Started BuildBot worker service.

Autentifikācijas iespējošana

Pēc noklusējuma autentifikācija Buildbot tīmekļa saskarnē nav iespējota. Interneta vietnēm ļoti ieteicams iestatīt autentifikāciju, lai tikai pilnvarotie lietotāji varētu veikt administratīvos uzdevumus. Lai iestatītu autentifikāciju, atkārtoti atveriet Buildbot galvenās konfigurācijas failu.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Faila beigās pievienojiet šādas rindas.

c['www']['authz'] = util.Authz(
       allowRules = [
           util.AnyEndpointMatcher(role="admins")
       ],
       roleMatchers = [
           util.RolesFromUsername(roles=['admins'], usernames=['admin_user'])
       ]
)
c['www']['auth'] = util.UserPasswordAuth({'admin_user': 'AdminPassword'})

Aizstājiet abus gadījumus admin_userar faktisko lietotājvārdu, kuru vēlaties izmantot, un AdminPasswordar spēcīgu paroli.

Pārbaudiet, vai konfigurācijas failā nav kļūdu.

sudo su buildbot -c "buildbot checkconfig /home/buildbot/master"

Restartējiet Buildbot galveno pakalpojumu, lai izmaiņas stātos spēkā.

sudo systemctl restart buildbot

Vēlreiz pārlūkojiet tīmekļa saskarni, lai redzētu, ka anonīmie lietotāji var skatīt tikai pamata informāciju par būvēšanas serveri. Tagad piesakieties, izmantojot master.cfgfailā iestatītos akreditācijas datus, un jūs redzēsiet, ka visas pārējās administratīvās funkcijas ir pieejamas tikai pieteicies administratoram.

Buildbot nodrošināšana ar Let's Encrypt SSL

Pēc noklusējuma Buildbot klausās portu 8010nenodrošinātos savienojumos. HTTPSIeteicams nodrošināt tīmekļa saskarni ar, lai nodrošinātu datu drošību transportēšanas laikā no pārlūkprogrammas uz serveri. Šajā apmācības sadaļā mēs instalēsim un nodrošināsim Nginx, izmantojot Let's Encrypt bezmaksas SSL sertifikātus. Nginx tīmekļa serveris darbosies kā apgrieztais starpniekserveris, lai pārsūtītu ienākošos pieprasījumus uz Buildbot HTTP galapunktu.

Instalējiet Nginx.

sudo yum -y install nginx

Palaidiet Nginx un iespējojiet to automātiski palaist sāknēšanas laikā.

sudo systemctl start nginx
sudo systemctl enable nginx

Instalējiet Certbot, kas ir Let's Encrypt CA klienta lietojumprogramma.

sudo yum -y install certbot

Lai varētu pieprasīt sertifikātus, caur ugunsmūri ir jāatļauj porti 80un/ 443vai standarta HTTPun HTTPSpakalpojumi. Tāpat noņemiet portu 8010, kas noklausās nedrošos savienojumus.

sudo firewall-cmd --zone=public --add-service=http --permanent
sudo firewall-cmd --zone=public --add-service=https --permanent
sudo firewall-cmd --zone=public --remove-port=8010/tcp --permanent
sudo firewall-cmd --reload

Piezīme. Lai iegūtu sertifikātus no Let's Encrypt CA, domēnam, kuram ir jāģenerē sertifikāti, jābūt norādītam uz serveri. Ja nē, veiciet nepieciešamās izmaiņas domēna DNS ierakstos un pagaidiet, līdz DNS tiek izplatīts, pirms vēlreiz veicat sertifikāta pieprasījumu. Certbot pirms sertifikātu sniegšanas pārbauda domēna iestādi.

Ģenerējiet SSL sertifikātus.

sudo certbot certonly --webroot -w /usr/share/nginx/html -d ci.example.com

Ģenerētie sertifikāti, visticamāk, tiks saglabāti /etc/letsencrypt/live/ci.example.com/direktorijā. SSL sertifikāts tiks saglabāts kā , fullchain.pemun privātā atslēga tiks saglabāta kā privkey.pem.

Encrypt sertifikātu derīguma termiņš beidzas 90 dienu laikā, tāpēc ir ieteicams iestatīt sertifikātu automātisko atjaunošanu, izmantojot Cron darbus.

Atveriet lietotāja cron darba failu root.

sudo crontab -e

Faila beigās pievienojiet šādu rindu.

30 5 * * * /usr/bin/certbot renew --quiet

Iepriekš minētais cron darbs darbosies katru dienu plkst. 5:30. Ja sertifikāta derīguma termiņš ir beidzies, tas automātiski atjaunos to.

Tagad mainiet Nginx noklusējuma konfigurācijas failu, lai izņemtu default_serverlīniju.

sudo sed -i 's/default_server//g' /etc/nginx/nginx.conf

Izveidojiet jaunu konfigurācijas failu Buildbot tīmekļa saskarnei.

sudo nano /etc/nginx/conf.d/buildbot.conf

Aizpildiet failu.

upstream buildbot {
server 127.0.0.1:8010;
}

server {
    listen 80 default_server;
    server_name ci.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl http2 default_server;
    server_name ci.example.com;

    root html;
    index index.html index.htm;

    ssl on;
    ssl_certificate         /etc/letsencrypt/live/ci.example.com/fullchain.pem;
    ssl_certificate_key     /etc/letsencrypt/live/ci.example.com/privkey.pem;

    ssl_session_cache      shared:SSL:10m;
    ssl_session_timeout  1440m;
    ssl_protocols  TLSv1 TLSv1.1 TLSv1.2;
    ssl_ciphers HIGH:!aNULL:!eNULL:!EXPORT:!CAMELLIA:!DES:!MD5:!PSK:!RC4;
    ssl_prefer_server_ciphers on;

    add_header Strict-Transport-Security "max-age=31536000; includeSubdomains;";

    access_log  /var/log/nginx/buildbot.access.log;

    proxy_set_header HOST $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header X-Forwarded-Proto  $scheme;
    proxy_set_header X-Forwarded-Server  $host;
    proxy_set_header X-Forwarded-Host  $host;

    location / {
        proxy_pass http://buildbot;
    }
    location /sse/ {
        proxy_buffering off;
        proxy_pass http://buildbot/sse/;
    }
    location /ws {
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_pass http://buildbot/ws;
        proxy_read_timeout 6000s;
    }
}

Pārbaudiet, vai jaunajā konfigurācijas failā nav kļūdu.

sudo nginx -t

Ja redzat šādu izvadi, konfigurācijā nav kļūdu.

[user@vultr ~]$ sudo nginx -t
nginx: the configuration file /etc/nginx/nginx.conf syntax is ok
nginx: configuration file /etc/nginx/nginx.conf test is successful

Ja esat saņēmis kāda veida kļūdu, noteikti pārbaudiet ceļu uz SSL sertifikātiem. Restartējiet Nginx tīmekļa serveri, lai ieviestu konfigurācijas izmaiņas.

sudo systemctl restart nginx

Atveriet Buildmaster konfigurācijas failu.

sudo su buildbot -c "nano /home/buildbot/master/master.cfg"

Atrodiet šādu rindu.

c['buildbotURL'] = "http://192.168.1.1:8010/"

Mainiet URL atbilstoši jūsu izmantotajam domēna nosaukumam.

c['buildbotURL'] = "https://ci.example.com/"

Restartējiet Buildbot galveno pakalpojumu.

sudo systemctl restart buildbot

Tagad Buildbot informācijas panelim varat piekļūt vietnē https://ci.example.com. Jūs redzēsit, ka savienojumi ar Buildbot tagad ir aizsargāti ar SSL.

Piesakieties, izmantojot administratora akreditācijas datus, un pievienojiet savu pirmo konveijeru, lai sāktu lietojumprogrammas izveidi.