Celery Director : un outil opensource pour les workflows Celery
vendredi 6 mars 2020
Les développeurs ont parfois besoin d’une file d’attente de tâches. La plus connue est Celery et fonctionne avec Python. Un outil open source entend vous faciliter la vie, Celery Director.
- Director : un outil opensource pour les workflows Celery lancé par OVHCloud
Qu’est-ce que Celery ?
Celery est un logiciel libre de file d’attente de tâches (asynchrones). Cette bibliothèque open source permet le passage de messages distribués et se concentre sur les opérations en temps réel. Le mécanisme est utilisé pour distribuer des tâches au sein d’un pool de machines ou de fils.
Qu’est-ce que Celery Director ?
Celery Director est un outil open source destiné à créer des flux de travail Celery. Il est développé par OVHCloud et son code source est disponible sur Github.
À quoi sert Director ?
OVHCloud explique que les développeurs ont souvent besoin d’effectuer des tâches en arrière-plan. Des outils existent déjà pour cela. Dans l’écosystème Python, la bibliothèque la plus connue est Celery. Problème : si l’outil est efficace, il peut parfois être difficile de suivre l’état d’un workflow complexe. Celery Director a été créé pour résoudre ce problème.
Comment l’installer ?
L’installation est assez simple, grâce à la commande pip :
$ pip install celery-director
Comme l’explique OVHCloud sur son blog, Celery Director fournit une commande simple pour créer un nouveau dossier de travail :
$ director init workflows [*] Project created in /home/ncrocfer/workflows [*] Do not forget to initialize the database You can now export the DIRECTOR_HOME environment variable
Résultat : un nouveau dossier de tâches et un exemple de workflow sont créés pour vous.
$ tree -a workflows/ ├── .env ├── tasks │ └── etl.py └── workflows.yml
Vous pouvez lire la suite (en anglais) sur le blog d’OVHCloud.