Gestió de cues de treball de Laravel amb Beanstalk i Supervisor a Ubuntu 16.04

Beanstalk és una cua de treball ràpida i senzilla. Us permet executar tasques que requereixen temps de manera asíncrona, com ara enviar correus electrònics, connectar-vos a API externes o processar imatges. En fer-ho, reduireu la latència de l'aplicació web. Laravel ofereix assistència immediata per a beanstalkd.

En aquest tutorial instal·larem beanstalkd, configurarem una aplicació de demostració Laravel i gestionarem els treballadors de la cua mitjançant Supervisor . L'aplicació de demostració obtindrà una llista de sistemes operatius disponibles de l' API Vultr i en triarà un a l'atzar.

Se suposa que ja teniu Supervisor instal·lat al vostre sistema. Si no ho feu, hauríeu de llegir el següent tutorial sobre com configurar Supervisor: Instal·lació i configuració del Supervisor a Ubuntu 16.04

També se suposa que teniu accés SSH a la vostra instància Vultr.

Instal·lació de Beanstalk

El primer pas a fer és instal·lar beanstalkd.

sudo apt-get update
sudo apt-get install beanstalkd

Inicieu el servei.

sudo systemctl start beanstalkd

També podeu habilitar el servei per iniciar-se després de la inicialització del sistema.

sudo systemctl enable beanstalkd

Comproveu l'estat del servei emetent l'ordre següent.

sudo systemctl status beanstalkd

Per defecte, beanstalkdescolta al port 11300. Beanstalk utilitza un protocol senzill basat en text descrit al seu repositori github . Podeu provar el seu protocol executant telnet.

telnet localhost 11300

Escriu el següent i fes clic ENTER.

list-tubes

Hauríeu de veure una llista de tubs disponibles al servidor:

OK 14
---
- default

Per tancar la connexió, simplement escriviu quiti després premeu ENTER.

Els tubs de Beanstalk representen cues de treball. Beanstalk està compost bàsicament per productors , consumidors , llocs de treball i tubs . Els productors posen llocs de treball en un tub per ser consumits (processats) per qualsevol nombre de consumidors. Tingueu en compte que tant els productors com els consumidors són simplement clients del servidor Beanstalk i són totalment independents els uns dels altres. En termes pràctics, això vol dir que utilitzant Beanstalk podeu produir els vostres treballs a la vostra aplicació PHP i processar-los en una aplicació NodeJS, per exemple. Afortunadament, Laravel resumeix tot això i ens proporciona una API molt senzilla per enviar i gestionar treballs, com veurem a continuació.

Projecte de mostra

Per construir el nostre projecte de mostra, primer hem d'instal·lar-ne les dependències. Instal·larem PHP i Composer.

sudo apt-get install php php-mbstring php-xml php-common php-zip composer

Ara, creeu el projecte basat en Laravel 5.5.

composer create-project --prefer-dist laravel/laravel vultr "5.5.*"

A continuació, cda la carpeta creada recentment. A partir d'ara treballarem en aquest directori. Aquesta carpeta es pot fer referència més endavant com a PROJECT_ROOT.

cd vultr/

Per utilitzar Beanstalk a Laravel hem d'instal·lar una dependència més, el client PHP Beanstalk.

composer require pda/pheanstalk ~3.0

També hem de crear una representació laboral. A Laravel, aquesta és una classe dins de la app/Jobscarpeta. Laravel té una comanda de consola per ajudar-nos a crear una classe de treball. Creem el nostre treball de mostra.

php artisan make:job FindFavoriteOS

Actualitzeu el app/Jobs/FindFavoriteOS.phpfitxer al següent.

<?php

namespace App\Jobs;

use Illuminate\Bus\Queueable;
use Illuminate\Queue\SerializesModels;
use Illuminate\Queue\InteractsWithQueue;
use Illuminate\Contracts\Queue\ShouldQueue;
use Illuminate\Foundation\Bus\Dispatchable;
use Illuminate\Support\Facades\Log;

class FindFavoriteOS implements ShouldQueue
{
    use Dispatchable, InteractsWithQueue, Queueable, SerializesModels;

    /**
     * Create a new job instance.
     *
     * @return void
     */
    public function __construct()
    {
        //
    }

    /**
     * Execute the job.
     *
     * @return void
     */
    public function handle()
    {
        $rawData = file_get_contents('https://api.vultr.com/v1/os/list');
        $list = json_decode($rawData, true);
        shuffle($list);
        $key = array_rand($list);
        $favorite = $list[$key];
        Log::info('My Favorite OS is: ' . $favorite['name']);
    }
}

El mètode de manipulació és el que s'executarà de manera efectiva quan es consumeixi el treball. Aquí, obtenim dades de l'API Vultr, escollim un sistema operatiu aleatòriament i escrivim el sistema operatiu escollit al fitxer de registre. El fitxer de registre es troba a storage/logs/laravel.log.

Ja hem instal·lat Beanstalk i hem definit el treball que ha d'executar-lo. Ara és el moment de dir-li a Laravel que utilitzi Beanstalk com a cua de treball predeterminada. Copieu el .envfitxer predeterminat proporcionat per la instal·lació de Laravel.

cp .env.example .env

Ara obriu el .envfitxer i actualitzeu la línia on s'especifica el controlador de la cua.

QUEUE_DRIVER=beanstalkd

Finalment, genereu una clau d'aplicació.

php artisan key:generate

Ara estem preparats per enviar treballs a la cua de treball de Beanstalk.

Despatx i execució de feines

Enviar una feina a Laravel és bastant senzill. Actualitza el routes/web.phpfitxer.

<?php

Route::get('/', function () {
    for ($i = 0; $i < 50; $i++) {
        \App\Jobs\FindFavoriteOS::dispatch();
    }

    return '50 Jobs dispatched!';
});

Tot i que no se'ns recomana executar el servidor proporcionat integrat en producció, aquí l'utilitzarem per a la brevetat.

php artisan serve --host 0.0.0.0 --port 8000

Ara, en un navegador web, navegueu a http://[vultr-instance-ip]:8000. Veureu el missatge següent.

50 Jobs dispatched!

Obriu una nova connexió SSH al vostre servidor i dins de l'arrel del nostre projecte, executeu el següent.

php artisan queue:work --once

Aquesta és la sortida esperada:

[2018-02-14 00:03:52] Processing: App\Jobs\FindFavoriteOS
[2018-02-14 00:03:53] Processed:  App\Jobs\FindFavoriteOS

Confirmeu que s'ha generat el registre.

cat storage/logs/laravel.log

Configuració del supervisor

Per evitar la necessitat de processar manualment la cua, farem servir supervisord. Creeu la configuració del programa següent a /etc/supervisor/conf.d/vultr.conf.

[program:vultr]
process_name=%(program_name)s_%(process_num)02d
command=php [PROJECT_ROOT]/artisan queue:work
autostart=true
autorestart=true
numprocs=8
redirect_stderr=true
stdout_logfile=/var/log/worker.log

Tingueu en compte que el camí correcte per posar el fitxer de configuració del supervisor dependrà de la vostra configuració. A més, recordeu substituir-lo [PROJECT_ROOT]amb el camí complet PROJECT_ROOTal vostre sistema.

Aquí estem configurant el Supervisor perquè comenci automàticament a processar la cua i, en cas de trencar l'script, el reiniciï. Tingueu en compte també que no estem instanciant un sol treballador, sinó 8 processos. Sou lliure d'instanciar tots els processos que considereu necessaris en funció de la vostra aplicació.

Per permetre que el supervisor gestioni el nostre treballador, obligueu-lo a tornar a llegir la seva configuració.

sudo supervisorctl reread
sudo supervisorctl update

Si el servei de supervisor no s'ha iniciat, molts haureu d'iniciar-lo.

sudo systemctl start supervisord

Ara vegem si s'estan processant les feines.

tail -f storage/logs/laravel.log

En un navegador web, navegueu a http://[vultr-instance-ip]:8000. Veureu els registres que es generen a la vostra consola.

Conclusió

Hem configurat correctament una aplicació Laravel per utilitzar Beanstalk com a cua de treball. A més, vam demostrar com utilitzar Supervisor per gestionar els treballadors.