Ayoub Talbi

Data Engineering Mission – TF1 Group: Modernization of a legacy system for processing TV audience and advertising data, as part of a migration to a cloud-native architecture on Databricks. Integration during the project on an existing code base, with rapid familiarization with the technical and functional context to ensure continuity of development: maintenance, functional upgrades, and bug fixes. Design and development of scalable data pipelines enabling the ingestion, transformation, and enrichment of audience data with third-party sources (programming schedules, etc.) to feed strategic dashboards for business teams (Marketing, Finance, Sales/Advertising, etc.). Processing massive data flows under strict SLAs: daily ingestion of tens of millions of rows per fact table, for tables totaling several billion rows. Implementation of advanced optimizations to ensure performance and reliability at scale: partitioning, clustering, incremental reads, Change Data Feed (CDF), etc. Stack: Databricks · Scala · Apache Spark · SQL · Azure Data Factory · Azure DevOps Translated with DeepL.com (free version)

Data Engineer Consultant for TotalEnergies. • Responsable de la migration des pipelines de données et de la mise en œuvre d'une solution d'analyse basée sur Databricks : - Migration complète des pipelines de données : transfert des pipelines de traitement des données d'un système existant basé sur AWS (S3, AppFlow pour l'ingestion des données depuis Salesforce, Lambda pour SharePoint, Glue, RDS SQL Server) vers Databricks, en utilisant LakeFlow pour l'ingestion et Delta Live Tables (DLT) pour les pipelines ETL avec une architecture bronze, argent et or. - Conversion et création de notebooks : conversion des procédures stockées SQL (T-SQL) en notebooks PySpark. Création du premier notebook exemple comme référence pour les coéquipiers afin qu'ils puissent mettre en œuvre leurs propres pipelines DLT. - Formation : prise en charge de la formation des collègues à Spark et Databricks afin d'accélérer leur adoption des nouveaux outils et méthodologies. - Validation et correction des notebooks : consolidation et correction des notebooks créés par les collègues. Collaboration avec les équipes commerciales afin de garantir la cohérence des rapports avec le système existant. - Assistance et intégration des rapports Power BI : les rapports Power BI, qui existaient déjà dans le système initial, ont été recréés avec l'aide de plusieurs collègues. J'ai maintenu une communication régulière avec eux et les équipes commerciales afin de m'assurer que les nouveaux rapports correspondaient exactement au système d'origine. - Qualité et intégrité des données : supervision de la livraison de l'application tout en garantissant la qualité, la fiabilité et l'intégrité des données dans la solution finale.

• Participation à un projet client visant à migrer vers le cloud AWS un entrepôt de données conçu pour fournir des indicateurs clés de performance (KPI) d'aide à la décision : - Création de tâches AWS Glue IAC à l'aide de Terraform. - Migration de la logique des procédures stockées d'Oracle DB PL/SQL vers des tâches AWS Glue (PySpark). • Au sein de l'équipe « Move2Cloud », travail sur un projet client intitulé « Migration vers le cloud Azure d'une application » : - Création de modèles dans SSRS Report Builder pour automatiser la génération de rapports basés sur des tables de base de données. - Migration de la base de données (schéma, vues, tables, etc.) d'Oracle 19c vers SQL Server (Azure SQL Managed Instance) à l'aide de SSMA - Migration de 700 procédures stockées d'Oracle vers SQL Server à l'aide de SSMA, y compris la migration manuelle de 100 procédures contenant du SQL dynamique. - Adaptation du code pour inclure la fonctionnalité Report Builder (l'application est écrite en .NET).

J'ai eu le privilège de travailler avec une équipe pour créer une application web révolutionnaire. Cette innovation a transformé le paysage du recrutement en automatisant diverses fonctions RH. L'application dispose d'une interface conviviale qui permet aux candidats de postuler en téléchargeant simplement leur diplôme et leur carte d'identité nationale. Grâce à l'utilisation d'une intelligence artificielle avancée et de techniques de vision par ordinateur de pointe, notamment en matière de détection d'objets, le système extrait et évalue efficacement les données contenues dans ces documents afin de déterminer l'éligibilité des candidats. Cette expérience inestimable m'a permis de combiner mon expertise technique avec des applications pratiques, contribuant ainsi à la mise au point de solutions innovantes dans le domaine du recrutement.

Développement d'une application web pour la communication de données entre le service après-vente et le client. L'application permet la gestion des entrées et sorties des sous-ensembles, ainsi que la gestion de ceux réparés en externe, afin de faciliter le suivi des sous-ensembles entre les sections du département 339.