Job Description

Contexte

Nous accompagnons les acteurs industriels dans leur transformation digitale, en valorisant leurs données issues d’écosystèmes complexes (OT/IT, capteurs, automates, SCADA, PI System).

En tant que Data Engineer, vous intervenez sur l’ensemble de la chaîne Data :

Mission

1. Conception & Développement de pipelines

• Construire des pipelines ETL/ELT sous Dataiku DSS (recettes Python/SQL/visuelles).

• Développer des scripts Python pour l’ingestion.

• Intégrer des sources OT/IT : PI OSIsoft, OPC-UA, SCADA, MES, SQL.

2. Traitement des séries temporelles

• Mettre en place des pipelines dédiés aux données haute fréquence.

• Appliquer interpolation, ré-échantillonnage, détection d’anomalies, nettoyage.

• Optimiser le stockage dans PostgreSQL / TimescaleDB.

3. Qualité & gouvernance des données

• Mettre en place des contrôles automatiques de qualité de données.

• Garantir la traçabilité, la sécurité et la conformité.

• Documenter les flows, modèles de données et règles métier.

4. Support

• Faire évoluer l’environnement Dataiku DSS (versions, plugins, connexions).

• Optimiser les performances des pipelines en production.

Compétences techniques requises

• Dataiku DSS (Flow, scénarios, bundles, recettes Python/SQL/visuelles).

• Python (pandas, numpy, libs time-series : statsmodels, Prophet).

• SQL avancé,

• Temps réel / industriel : PI OSIsoft, OPC-UA, SCADA, MES.

Profil recherché

• 3 à 6 ans d’expérience en data engineering

• Compétences en traitement de séries temporelles

• Compétences en environnements industriels (OT/IT)