logo

Machine learning avec spark : La voie de la production


MERCREDI 10 AVRIL


Andréa Baita & André Bois-Crettez

Nous présentons une étude de cas pour l'industrialisation d'un projet de machine learning (apprentissage automatique) avec Apache Spark. À partir d'un prototype développé par un Data Scientist, nous allons parler du problème des tests unitaires, puis comment des tests BDD permettent de construire un scénario de test compréhensible. Nous verrons ensuite comment lancer périodiquement les jobs, en tenant compte de leurs dépendances grâce à Azkaban. Pour conclure, nous parlerons de packaging, de déploiement, et de monitoring, en présentant la solution actuelle utilisée par Kelkoo Group. Nous voulons partager notre expérience sur les meilleures pratiques et astuces pour mettre en production une solution de machine learning, tout en utilisant les bonnes pratiques de codage et de test.