TOOLinux

Le journal du Libre

Le Projet MLflow confié par Databricks à la Fondation Linux

lundi 29 juin 2020

La plateforme ML open source créée par Databricks rejoint la Linux Foundation. Elle compte aujourd’hui près de 200 contributeurs pour plus de 2 millions de téléchargement chaque mois.

Le Projet MLflow confié par Databricks à la Fondation Linux

Qu’est-ce que MLflow ?

MLFlow est une plateforme open source de machine learning (ML) créée par Databricks il y a 2 ans en réponse au processus compliqué de développement des modèles de ML.

Les particularité de MLflow

Traditionnellement, le processus de conception, formation, réglage, déploiement et gestion des modèles de ML était extrêmement difficile pour les data scientists et les développeurs.

MLflow permet :

- d’éviter que ce processus ne devienne trop lourd
- de fournir une plateforme pour gérer le cycle de développement du ML
- de préparer des données au déploiement en production
- de packager du code en suites reproductibles
- de partager des modèles et la collaboration.

"Contrairement au développement traditionnel de logiciels qui ne concerne que les versions de code, les modèles ML doivent également suivre les versions des jeux de données, des paramètres des modèles et des algorithmes, ce qui crée un ensemble de variables exponentiellement plus important à suivre et à gérer. En outre, le ML est très itératif et repose sur une étroite collaboration entre les équipes data et les équipes chargées des applications" - Databricks

MLflow dans la Fondation Linux

C’est dans le cadre de la conférence Spark + AI Summit que la Fondation Linux a officialisé l’arrivée de MLflow en son sein. Objectif : étendre encore davantage l’adoption et les contributions au projet.

« L’augmentation constante de l’engagement communautaire montre la volonté des équipes data à construire la plateforme de machine learning du futur. Le taux d’adoption démontre la nécessité d’une approche open source pour standardiser le cycle de vie du machine learning » - Michael Dolan, Linux Foundation.

Parmi les entreprises conquises par MLflow, a-t-on appris à l’occasion de Spark+ AI Summit, on compte déjà Starbucks, Exxonmobil, T-Mobile et Accenture.

L’avenir de MLFlow

Le projet MLflow sera désormais coordonné par la Linux Foundation et de nouvelles fonctionnalités - pour simplifier MLflow et le cycle de vie de ML - ont également annoncées, notamment l’autologging pour des expérimentations, ainsi que de nouvelles fonctionnalités de gestion et de déploiement des modèles dans le registre des modèles MLflow.