Projet Apache Arrow pour le big data

Arrow, le nouveau grand projet de la Fondation Apache, va fournir une couche de données haute performance pour l’analyse en mémoire sur le stockage en colonne à travers des systèmes disparates.

Il doit permettre de traiter les données sans sérialisation, ce qui est un gain de temps et d’énergie (en CPU) important. Divers systèmes, langages de programmation et applications pourront se voir combiner en un seul traitement. Le format JSON est notamment supporté.

« Nous anticipons que la majorité des données dans le monde seront traitées à travers Arrow dans les prochaines années », annonce Jacques Nadeau, vice-président du projet.

Liens :

 L’annonce sur le blog de la Fondation Apache
 Le site du projet Arrow
 Le dépôt Github