Lead Data Engineer

At CWP Energy Trading, we are an innovative company operating at the intersection of energy analytics and fintech. Our mission is to leverage high-quality data analytics and deep market expertise to optimize power markets. We are looking for a Lead Data Engineer to support multiple teams across the company by building and maintaining a scalable data infrastructure.
As Lead Data Engineer, you'll drive the consolidation of our data infrastructure, shape the team with best practices, and drive data governance. With a strategic mindset, you'll prioritize data needs and keep stakeholders informed.
Key Responsibilities

• Build and maintain reliable data pipelines to integrate data from many heterogeneous sources.
• Develop and maintain a data catalog documenting all datasets, their sources, and usage guidelines.
• Own the user experience of data users across the business, supporting both structured analytics and ad-hoc querying needs.
• Drive the data infrastructure, including the use of infrastructure-as-code tools, across all data projects.
• Implement and support both batch processing and real-time streaming solutions.
• Work closely with multiple teams across the company to define and prioritize data needs.
• Act as the technical lead for the development team, providing guidance on best practices, mentoring junior engineers, and contributing to architectural decisions. Ensure that the data strategy is aligned with the short, mid and long term needs of the business.
• Regularly update stakeholders on data availability, system performance, and project status.

Required Skills & Qualifications

• 8+ years of experience in data engineering or a related field.
• Demonstrated expertise in data warehousing and data governance at data-intensive organizations.
• Proficiency in Python and SQL for data processing.
• Strong experience with analytical databases (BigQuery, Snowflake, Databricks).
• Experience with ETL/ELT pipelines and workflow orchestration tools (Dagster, Apache Airflow, dbt).
• Proven track record in taming large numbers of heterogeneous data sources.
• Expertise in at least one cloud computing platform (GCP is a plus).
• Experience with real-time data streaming technologies is desirable (Dataflow, Kafka, Flink, Spark Streaming, Kinesis).
• Experience with AI/ML is highly desirable, including proficiency with frameworks such as TensorFlow, PyTorch, Keras, and tools for model training and optimization. Familiarity with large language models (LLMs), reinforcement learning, and model deployment will be a plus.
• Tech Lead / Team Lead experience, with the ability to scope, prioritize, and manage multiple workstreams.
• Strong communication and stakeholder management skills, with the ability to present technical concepts to non-technical audiences.
• Senior and versatile professional, comfortable when interacting with developers as well as C-Suite stakeholders.

Why Join Us?

• A dynamic environment that encourages initiative and experimentation. Here’s McGill St Laurent
• A results-driven corporate culture.
• Full group insurance and an RRSP contribution program.
• Vacation policy from day one.
• Public transit incentive program.
• Give & Match program.
• Flexible hours and hybrid work options.
• A modern office with a gym, lounge, locker rooms, and showers.

We collect your information via a secure applicant tracking system, where access is restricted according to the position. Data, including CVs and interview notes, are stored in this system. If you have any objections or wish to withdraw your consent, please contact us  at [email protected].
 

____________

Chez CWP Energy Trading, on repousse les limites entre l’analytique énergétique et la fintech. Notre mission : exploiter des données de qualité et une expertise pointue des marchés pour optimiser le secteur de l’électricité. On cherche un·e Lead Data Engineer prêt·e à bâtir et faire évoluer une infrastructure de données robuste au service de toutes nos équipes. Ton rôle : piloter la consolidation de notre architecture data, instaurer les meilleures pratiques, structurer la gouvernance des données et faire rayonner une vision stratégique. Tu sauras prioriser les besoins, accompagner les équipes et garder tout le monde aligné grâce à une communication claire et proactive.

Responsabilités : 

• Concevoir et maintenir des pipelines de données fiables afin d’intégrer des données issues de sources hétérogènes.
• Développer et mettre à jour un catalogue de données documentant l’ensemble des données, leurs sources et leurs règles d’utilisation.
• Garantir une expérience optimale aux utilisateurs de données au sein de l’entreprise en répondant à leurs besoins analytiques, qu’ils soient structurés ou ponctuels.
• Gérer l’infrastructure de données, y compris l’utilisation d’outils d’infrastructure-as-code, pour l’ensemble des projets liés aux données.
• Mettre en place et assurer le suivi des solutions de traitement par lots ainsi que de diffusion en temps réel.
• Travailler en étroite collaboration avec plusieurs équipes afin d’identifier et de hiérarchiser les besoins en données.
• Agir en tant que référent technique pour l’équipe de développement en fournissant des conseils sur les bonnes pratiques, en encadrant les juniors et en contribuant aux décisions architecturales. Veiller à ce que la stratégie en matière de données soit alignée avec les besoins à court, moyen et long terme de l’entreprise.
• Informer régulièrement les parties prenantes sur la disponibilité des données, la performance des systèmes et l’état d’avancement des projets.

Ton profil:

• Plus de 8 ans d’expérience en ingénierie des données ou dans un domaine connexe.
• Expertise démontrée en entreposage de données et en gouvernance des données, acquise au sein d’organisations à forte intensité data.
• Maîtrise de Python et SQL pour le traitement des données.
• Solide expérience avec les bases de données analytiques (BigQuery, Snowflake, Databricks).
• Expérience dans la conception de pipelines ETL/ELT et l’utilisation d’outils d’orchestration de workflows (Dagster, Apache Airflow, dbt).
• Capacité prouvée à gérer un grand nombre de sources de données hétérogènes.
• Maîtrise d’au moins une plateforme de cloud computing (GCP est un atout).
• Une expérience avec les technologies de diffusion de données en temps réel est souhaitable (Dataflow, Kafka, Flink, Spark Streaming, Kinesis).
• Une expérience en IA/ML est fortement souhaitée, incluant la maîtrise de frameworks comme TensorFlow, PyTorch, Keras, ainsi que des outils d’entraînement et d’optimisation de modèles. Une connaissance des grands modèles de langage (LLMs), de l’apprentissage par renforcement et du déploiement de modèles est un plus.
• Expérience en tant que Tech Lead / Team Lead, avec la capacité de définir la portée des projets, de prioriser les tâches et de gérer plusieurs flux de travail en parallèle.
• Excellentes compétences en communication et en gestion des parties prenantes, avec la capacité de vulgariser des concepts techniques auprès de publics non techniques.
• ​​​​​​​Profil senior, polyvalent, à l’aise aussi bien avec les développeurs qu’avec les cadres exécutifs.

Ce que nous offrons :

• Un environnement dynamique où l’initiative et l’expérimentation sont encouragées. Voici McGill St Laurent
• Une culture d’entreprise axée sur les résultats.
• Assurance collective complète et programme de cotisation REER.
• Politique de congés dès l’entrée en poste.
• Programme d’incitatif au transport en commun.
• Programme Give & Match.
• Horaires flexibles et télétravail hybride.
• Un bureau moderne avec gym, lounge, vestiaires et douches.

Nous recueillons vos informations via un système de suivi des candidats sécurisé, où l'accès est restreint selon le poste. Les données, incluant CVs et notes d'entretiens, sont conservées dans ce système. Pour tout désaccord ou retrait de consentement, contactez-nous à [email protected].