Celery Director : un outil opensource pour les workflows Celery

Les développeurs ont parfois besoin d’une file d’attente de tâches. La plus connue est Celery et fonctionne avec Python. Un outil open source entend vous faciliter la vie, Celery Director.

Director : un outil opensource pour les workflows Celery lancé par OVHCloud

Qu’est-ce que Celery ?

Celery est un logiciel libre de file d’attente de tâches (asynchrones). Cette bibliothèque open source permet le passage de messages distribués et se concentre sur les opérations en temps réel. Le mécanisme est utilisé pour distribuer des tâches au sein d’un pool de machines ou de fils.

Qu’est-ce que Celery Director ?

Celery Director est un outil open source destiné à créer des flux de travail Celery. Il est développé par OVHCloud et son code source est disponible sur Github.

À quoi sert Director ?

OVHCloud explique que les développeurs ont souvent besoin d’effectuer des tâches en arrière-plan. Des outils existent déjà pour cela. Dans l’écosystème Python, la bibliothèque la plus connue est Celery. Problème : si l’outil est efficace, il peut parfois être difficile de suivre l’état d’un workflow complexe. Celery Director a été créé pour résoudre ce problème.

Comment l’installer ?

L’installation est assez simple, grâce à la commande pip :

$ pip install celery-director

Comme l’explique OVHCloud sur son blog, Celery Director fournit une commande simple pour créer un nouveau dossier de travail :

$ director init workflows
[*] Project created in /home/ncrocfer/workflows
[*] Do not forget to initialize the database
You can now export the DIRECTOR_HOME environment variable

Résultat : un nouveau dossier de tâches et un exemple de workflow sont créés pour vous.

$ tree -a workflows/
├── .env
├── tasks
│   └── etl.py
└── workflows.yml

Vous pouvez lire la suite (en anglais) sur le blog d’OVHCloud.