TOOLinux

L’actu Linux et Open Source au quotidien

Pourquoi Databricks reverse ses contributions à la Linux Foundation

mercredi 29 juin 2022

Les fonctions et améliorations de Delta Lake iront à la Linux Foundation. C’est l’importante déclaration faite par l’éditeur Databricks cette semaine dans le cadre de du Data + AI Summit.

Lors du Data + AI Summit qui se tient en moment-même, Databricks annonce d’importantes contributions à ses projets Open Source phares :

- Toutes les améliorations de Delta Lake sont données à la Linux Foundation avec le lancement de Delta Lake 2.0
- MLflow 2.0 désormais doté de ML Pipelines accélère le délai de mise en production des projets de machine learning
- Lancement de Spark Connect pour une exécution d’Apache Spark sur n’importe quel appareil
- Lancement du Project Lightspeed pour Spark Streaming

L’annonce la plus importante est certainement que Databricks fera don à la Linux Foundation de toutes les fonctionnalités et améliorations de Delta Lake. Elle mettra également en open source toutes les API de Delta Lake dans le cadre de l’annonce de Delta Lake 2.0.

Par ailleurs, l’entreprise annonce MLflow 2.0, qui comprend MLflow Pipelines, une nouvelle fonctionnalité permettant d’accélérer et de simplifier les déploiements de modèles ML.

L’entreprise présente également Spark Connect, pour permettre l’utilisation de Spark sur n’importe quel appareil et Project Lightspeed, un moteur de Spark Structured Streaming pour le streaming de données sur le lakehouse.

Pourquoi ? « Depuis le début, Databricks s’est engagée en faveur des standards et de la communauté open source. Nous avons créé, contribué, favorisé la croissance et fait don de certaines des innovations les plus marquantes de la technologie open source moderne, » déclare Ali Ghodsi, cofondateur et CEO de Databricks. « Les data lakehouse ouverts deviennent rapidement des standards en matière de gestion des données et d’IA des entreprises les plus innovantes. Delta Lake, MLflow et Spark sont au cœur de cette transformation architecturale et nous sommes fiers de contribuer à l’accélération de leur innovation et de leur adoption. »

La page Open Source du site de l’éditeur reflète désormais l’ensemble de ces annonces et contributions.