MEDFAR Clinical Solutions Logo

MEDFAR Clinical Solutions

Prompt Engineer

Posted 2 Days Ago
Be an Early Applicant
Hybrid
Montréal, QC, CAN
Senior level
Hybrid
Montréal, QC, CAN
Senior level
Responsible for auditing and modularizing monolithic prompts, selecting and evaluating LLMs, defining clinical output quality criteria, building validation and regression tests, designing evaluation suites, mentoring the team, and operationalizing prompts for production with CI/CD and observability.
The summary above was generated by AI
Company Description

MEDFAR Solutions Cliniques a été fondée en 2010 par deux ingénieurs aéronautiques qui ont réalisé que les systèmes de santé n'exploitaient pas le plein potentiel de la technologie. Soutenue par une vaste communauté d'experts médicaux et axée sur le succès des cliniques et la sécurité des patients, MEDFAR a été la première entreprise à certifier un Dossier Médical Électronique infonuagique au Canada, MYLE (Make Your Life Easy).

Engagée à promouvoir l'excellence et l'efficacité des soins de santé dans le monde entier, MEDFAR se différencie en offrant une solution de gestion de soins unique pour les cliniques, qui remplace les processus inefficaces par une alternative technologique plus rapide et plus sécuritaire.

Job Description

En tant que Prompt Engineer, vous jouerez un rôle central dans l’amélioration de fonctionnalités d’IA générative destinées à des usages cliniques et opérationnels. Vous contribuerez à faire évoluer la qualité des générations tout en participant à la structuration des pratiques entourant le prompting au sein de l’équipe. Plus précisément, vous serez amené·e à :

  • Auditer et réarchitecturer les prompts monolithiques de CoeurWay : Convertir leur structure actuelle en une chaîne modulaire de prompts ciblés et maintenables, améliorant la robustesse, la débogabilité et l'adaptabilité ;
  • Diriger la sélection et l'évaluation des modèles de langue : Évaluer et appairer les modèles aux tâches de prompting spécifiques, en favorisant une approche indépendante des modèles qui réduit la dépendance aux fournisseurs et optimise la qualité et les coûts ;
  • Assurer la qualité des sorties cliniques générées par l'IA : Définir les critères de qualité, identifier les modes de défaillance et piloter l'amélioration continue par des processus de validation structurés ;
  • Faire évoluer et réaligner le cadre d'évaluation existant : Améliorer la couverture du cadre couvrant actuellement 7 rubriques de qualité des notes cliniques, son potentiel d'automatisation et son alignement avec la réalité clinique ;
  • Établir une approche systématique de validation des sorties : Identifier les cas limites, mettre en place des tests de régression pour les modifications de prompts et documenter les limitations connues ;
  • Concevoir et mettre en œuvre de nouveaux prompts et suites d'évaluation : Soutenir les nouvelles fonctionnalités de CoeurWay et MYLE EMR avec des solutions de prompting et d'évaluation appropriées ;
  • Mentorer et assurer la croissance de la pratique : Mentorer les futurs concepteurs de prompts à mesure que l'équipe se développe et participer aux décisions d'embauche.
  • Contribuer à la documentation et aux meilleures pratiques : Établir et maintenir la documentation interne, les normes et les meilleures pratiques en matière d'ingénierie de prompting chez MEDFAR ;
  • Rester à l'affût de l'évolution du paysage des LLM : Suivre les nouveaux modèles, techniques de prompting et méthodologies d'évaluation, et partager les résultats pertinents avec l'équipe ;
  • Développer une compréhension approfondie des flux de travail cliniques : Acquérir l'expertise des besoins des prestataires de soins de santé et maintenir des relations étroites avec les équipes en contact avec les clients et les utilisateurs finaux ;
  • Collaborer avec l'équipe GenAIOps : Assurer que les prompts sont prêts pour la production — observables, versionnés et déployables via des processus CI/CD établis ;

Qualifications

Idéalement, vous avez:

  • 5 ans minimum d'expérience professionnelle en IA/ML, développement produit, linguistique computationnelle ou domaine connexe ;

  • 2 ans minimum d'expérience pratique en prompt engineering dans des systèmes LLM en production, idéalement en contexte SaaS B2B ou industrie réglementée ;
  • Expérience démontrée à décomposer des prompts complexes en architectures modulaires et chaînées, incluant des patterns tels que le chaînage de prompts, le routage, la réflexion ou l'utilisation d'outils ;
  • Expérience dans la conception ou l'amélioration significative de cadres d'évaluation pour LLM — conception de rubriques, alignement inter-évaluateurs et analyse des modes de défaillance ;
  • Forte familiarité avec les API commerciales de modèles génératifs avancés (OpenAI, Anthropic, Google, etc.) et compréhension des compromis pratiques entre elles ;
  • Maîtrise avancée de l'anglais, écrit et parlé ;
  • Maîtrise du français requise en raison des fréquentes interactions avec les clients ;

 

Atouts

  • Expérience dans le domaine des technologies de l’information en santé, de la documentation clinique ou de cas d’usage liés aux soins ;
  • Compréhension des concepts liés aux notes cliniques, à leur structure et à la pertinence des informations à inclure ou à exclure ;
  • Expérience avec des approches d’évaluation automatisée de la qualité des générations, incluant l’utilisation de juges basés sur des LLM ;
  • Expérience dans des contextes où plusieurs modèles sont utilisés selon différents besoins ou contraintes ;
  • Familiarité avec les enjeux d’orchestration, de monitoring ou d’opérationnalisation de solutions de GenAI ;
  • Intérêt marqué pour la création de standards, de documentation et de pratiques durables dans un domaine émergent.
  • Maîtrise de Python ou d'un autre langage de programmation pour construire des pipelines d'évaluation ou des outils de prompting ;
  • Expérience avec des modèles auto-hébergés ou de poids ouverts ;

Additional Information

Ce que nous vous offrons:

  • Télétravail et flexibilité (équilibre entre vie professionnelle et vie privée).

  • Contribution au REER

  • Assurance collective complète dès le premier jour.

  • Congé payé: 3 semaines + 1 entre Noël et le Nouvel An.

  • Allocation annuelle de formation (1 500$) pour soutenir votre développement professionnel.

  • Programme d'onboarding pour vous familiariser avec notre environnement et le domaine de la santé numérique

  • Le matériel informatique est fourni, ainsi que d’autres équipements si nécessaire.

  • Opportunités de croissance interne (promotions, mobilité interne)

  • L’appui d’un comité bien-être et social, avec des initiatives favorisant la cohésion, la santé mentale et le bien-être de nos employés

  • Une culture d'entreprise axée sur la transparence, la collaboration et l'innovation.

  • Rejoindre un environnement dynamique et innovant, où votre travail a un impact concret et à grande échelle, en contribuant à moderniser les soins de santé tant au Canada qu’à l’international.

With offices around the world, fluency in both French and English is a must at MEDFAR. Because of the need to communicate with colleagues and/or customers in other provinces or countries, bilingualism enables us to communicate in both languages while promoting the use of French. 

At MEDFAR, we value diversity, equity and inclusion within our team. We are committed to providing a work environment where every individual feels respected and supported, regardless of their background, identity or abilities.As part of our commitment to a fair and inclusive recruitment process, we offer accommodation to candidates who request it. If you need accommodation during your interview, please let us know so that we can provide you with an adapted experience.

MEDFAR has voluntarily subscribed to an Equal Employment Opportunity Program (EEOP). We encourage applications from women, visible minorities, ethnic minorities, aboriginal peoples and people with disabilities. When applying, we invite you to complete this section, which enables us to implement our Equal Employment Opportunity Program (EEOP). Self-identification is not compulsory, but may enable you to benefit from hiring or promotion measures if you have the skills required for the job.

To better understand the self-identification process, please consult this guide.

MEDFAR Clinical Solutions Montréal, Québec, CAN Office

1224 rue Stanley #205, Montréal, Quebec, Canada, H3B 2S7

Similar Jobs

2 Days Ago
Hybrid
Montréal, QC, CAN
Senior level
Senior level
Healthtech • Software
Lead prompt engineering for MEDFAR's clinical AI (CoeurWay, MYLE EMR): modularize prompts, select and evaluate LLMs, define validation and evaluation frameworks, build automated testing and CI/CD-ready prompt tooling, collaborate with product/clinical teams, and mentor future prompt designers.
Top Skills: AnthropicCi/CdGoogle Llm ApisLlmsOpen-Weight ModelsOpenaiPythonSelf-Hosted Models
2 Days Ago
In-Office or Remote
Montréal, QC, CAN
Senior level
Senior level
Healthtech • Software
Senior individual-contributor prompt engineer responsible for redesigning and modularizing prompts, selecting and pairing LLMs, defining clinical-quality criteria, building evaluation and validation frameworks, ensuring production readiness with GenAIOps/CI-CD, and mentoring future prompt designers while collaborating with product, clinical, QA, and client teams.
Top Skills: Anthropic ApiCi/CdGoogle Llm ApiOpenai ApiPythonSelf-Hosted Open-Weight Models
39 Minutes Ago
Easy Apply
Remote or Hybrid
Canada
Easy Apply
Senior level
Senior level
Artificial Intelligence • Cloud • Computer Vision • Hardware • Internet of Things • Software
Own and optimize Okta identity infrastructure and Google Workspace, build Workato automations (OWL-IT), support IAM initiatives (RBAC, provisioning, SCIM), act as Tier 3 escalation for identity incidents, ensure StateRAMP/FedRAMP compliance, document runbooks, and collaborate with Security/GRC to strengthen identity security.
Top Skills: ConfluenceGemini EnterpriseGoogle Apps Manager (Gam)Google Cloud Platform (Gcp)Google WorkspaceIgaOktaOkta WorkflowsOwl-ItPamPythonRbacRest ApisSaviyntScimSplunkSsoTerraformVertex AiWorkatoWorkato Connector SdkWorkato One

What you need to know about the Montreal Tech Scene

With roots dating back to 1642, Montreal is often recognized for its French-inspired architecture and cobblestone streets lined with traditional shops and cafés. But what truly sets the city apart is how it blends its rich tradition with a modern edge, reflected in its evolving skyline and fast-growing tech industry. According to economic promotion agency Montréal International, the city ranks among the top in North America to invest in artificial intelligence, making it le spot idéal for job seekers who want the best of both worlds.

Key Facts About Montreal Tech

  • Number of Tech Workers: 255,000+ (2024, Tourisme Montréal)
  • Major Tech Employers: SAP, Google, Microsoft, Cisco
  • Key Industries: Artificial intelligence, machine learning, cybersecurity, cloud computing, web development
  • Funding Landscape: $1.47 billion in venture capital funding in 2024 (BetaKit)
  • Notable Investors: CIBC Innovation Banking, BDC Capital, Investissement Québec, Fonds de solidarité FTQ
  • Research Centers and Universities: McGill University, Université de Montréal, Concordia University, Mila Quebec, ÉTS Montréal

Sign up now Access later

Create Free Account

Please log in or sign up to report this job.

Create Free Account