Data Engineer

Agaetis recrute !

À propos

Basée à Clermont-ferrand, Lyon et Paris, Agaetis apporte à ses clients une vraie réponse basée sur l'analyse du besoin et la compréhension de leurs enjeux. Ils mettent le conseil, l'expertise technologique, l'intelligence collective et l’engagement humain au service de leurs clients, afin d'apporter la meilleure solution. Ils capitalisent également sur de la Recherche Développement Innovation (RDI) pour fournir des solutions clés en main et répondre aux enjeux de demain.

Depuis 2007, la croissance de Agaetis a été progressive et maîtrisée afin de garantir la continuité d’un écosystème passionnant. Leur organisation permet à chaque membre de Agaetis, de participer et de partager ses idées pour définir ce que sera l’Agaetis de demain. Ce qu’ils proposent à leurs clients, ils se l’appliquent aussi en interne. Chez Agaetis, il ne faut pas avoir peur du changement, leur mot d’ordre : L’amélioration continue, que ce soit pour leur bien-être mais aussi pour la satisfaction de leurs clients.

Ils sont maintenant une équipe complémentaire et désireux d’en apprendre tous les jours. Ils travaillent dans un écosystème varié entouré de start-ups, PME et grands groupes issues de différents secteurs : Industrie, Agriculture, Bâtiment, Santé, Finance, Assurance, E-commerce.

Descriptif du poste

Le Data Engineer est un pilier pour les projets data. Il construit les structures de données et met en place les briques technologiques nécessaires pour l’acquisition, l’analyse et l’implémentation des modèles qui utilisent les données dans un contexte massif de données. Son rôle est de choisir les bonnes technologies selon les besoins en collaboration avec différents métiers/projets. Le Data Engineer travaille avec les Data Scientist pour savoir quelle architecture est nécessaire au développement des modèles scientifiques afin d'aider à industrialiser son modèle et de garantir la montée à l’échelle.

Le Data Engineer chez Agaetis est en charge de :

  • Extraire, uniformiser et structurer les données depuis les datalakes de nos clients
  • Maitriser la modélisation des données dans un datalake pour assurer la bonne exécution de ses traitements
  • S'assurer de la fiabilité des données utilisées
  • Mettre en place des flux de données entre les systèmes en ingestion et en exposition (batch, API, temps réel …)
  • Explorer de nouvelles technologies, faire de la veille technologique
  • Comprendre l'architecture Datalake dans son ensemble et préconiser des adaptations pour le déploiement et le traitement de ses modèles

Profil recherché

Le Data Engineer que nous recherchons pour intégrer notre équipe Clermontoise devra s’assurer que les données de nos clients soient facilement accessibles afin qu’elles puissent être exploitées par les différents métiers (DS, BI, applicatifs...) mais aussi, que les modèles et applicatifs créés à partir des données soient performants. Il sera en charge de définir, développer, mettre en place et maintenir les outils et infrastructures adéquats à l'analyse de la donnée. Le candidat que nous recherchons doit être créatif afin d’ imaginer et concevoir des solutions permettant le traitement de volumes importants de données, tout en garantissant la sécurité de celles-ci.

Les connaissances souhaitées sont :

  • Maîtrise de Python et de différentes technologies autour des flux de données : Nosql, SQL ETL, Hadoop, Kafka…
  • Connaître l’environnement de Machine Learning : Sklearn, Spark ml, Tensorflow...

Autres connaissances souhaitées :

  • Ecosystème Apache Hadoop : Spark, Hive, Kafka streaming, AirFlow
  • Cloud : Azure, AWS, Google Cloud…
  • Langages Big Data : Scala, Python
  • Outils de virtualisation et container : Docker, OCI, …
  • Orchestrateurs : Kubernetes…
  • Base de données : SQL Server, MySQL, MongoDB, Elasticsearch
  • Conception de pipeline d’ingestion de données sur des frameworks de calcul distribués (Spark, Akka, Flink, etc.) temps réel (Kafka, Storm, Spark Streaming).

Les qualités requises sont :

  • la créativité, l’esprit d’équipe
  • La rigueur
  • La communication
  • L’adaptabilité
  • La curiosité
  • La veille technologique

Process de recrutement

Trois entretiens :

  • Entretien de préqualification
  • Entretien technique
  • Entretien posture et intégration

Informations complémentaires

  • Type de contrat : CDI
  • Lieu : Aubière, France (63170)
  • Niveau d'études : Bac +5 / Master
  • Expérience : > 3 ans
  • Télétravail partiel possible