Research Scientist, User Signals from Agentic Logs, DeepMind - Google Careers

Qualifications minimales : ###

• Doctorat (PhD) en Machine Learning, traitement du langage naturel ou dans un domaine connexe (ou expérience pratique équivalente).
• Expérience en développement logiciel utilisant Python et un ou plusieurs frameworks de deep learning (par exemple, PyTorch ou JAX).
• Expérience de recherche en post-training, reinforcement learning (RL), agentic RL, preference learning ou reward modeling.
• Publication en tant que premier auteur (ou co-auteur) dans une ou plusieurs conférences de machine learning ou de traitement du langage naturel (NLP) examinées par des pairs (par exemple, NeurIPS, ICML, ICLR, ACL, EMNLP).

Qualifications préférentielles : ###

• Publications en tant que premier auteur dans des conférences ML/NLP de premier plan (NeurIPS, ICML, ICLR, ACL, EMNLP).
• Expérience avec les méthodes modernes d'alignement et de post-training (par exemple, RLHF, DPO, PPO, rejection sampling ou self-play).
• Expérience de la modélisation de données d'interaction multi-tours, de trajectoires/logs d'agents ou de retours utilisateurs (signaux implicites et explicites).
• Expérience de l'entraînement ou de l'évaluation de reward models, de critique models ou d'évaluateurs automatisés (par exemple, LLM-as-a-judge).
• Expérience en agentic post-training.

A propos du poste ###

En tant que membre de l'équipe Gemini User Signals, un Research Scientist aidera à piloter la stratégie de post-training de nos modèles les plus avancés, dédiée à l'établissement du "flywheel" de l'alignement, en convertissant les interactions et les retours utilisateurs complexes en signaux d'entraînement qui améliorent fondamentalement le comportement du modèle. Dans ce rôle, vous dirigerez la recherche sur le reward modeling, l'optimisation des préférences et les stratégies centrées sur les données pour boucler la boucle entre le déploiement par les utilisateurs et l'entraînement du modèle. Vous aiderez à définir les recettes horizontales qui nous permettent de mettre ces connaissances à l'échelle à travers différentes modalités et familles de modèles. L'intelligence artificielle sera l'une des inventions les plus transformatrices de l'humanité. Chez Google DeepMind, nous sommes un laboratoire d'IA pionnier doté d'équipes interdisciplinaires exceptionnelles concentrées sur l'avancement du développement de l'IA pour résoudre des défis mondiaux complexes et accélérer l'innovation de produits de haute qualité pour des milliards d'utilisateurs. Nous utilisons nos technologies pour le bénéfice public généralisé et la découverte scientifique, en veillant à ce que la sécurité et l'éthique soient toujours notre priorité absolue.

Nous repoussons les limites dans de multiples domaines. Nos équipes mondiales offrent diverses opportunités d'apprentissage et des parcours de carrière pour ceux qui sont déterminés à obtenir des résultats exceptionnels par l'effort collectif.

Responsabilités ###

• Concevoir et mettre en œuvre des mécanismes pour récolter, filtrer et utiliser des signaux utilisateurs de haute qualité (implicites et explicites) afin d'améliorer de manière itérative les modèles Gemini.
• Développer et affiner des reward models et des critique models qui capturent avec précision l'intention et la satisfaction de l'utilisateur, servant de fondation pour le Reinforcement Learning from Human Feedback (RLHF) et d'autres techniques d'alignement.
• Créer et valider des recettes de post-training "horizontales" qui peuvent être appliquées de manière robuste à différentes tailles de modèles et modalités (y compris le texte et l'audio).
• Rechercher de nouvelles méthodes pour pondérer, synthétiser et sélectionner les données afin de maximiser l'impact des signaux utilisateurs sur la performance du modèle.
• Établir des cadres d'évaluation rigoureux pour mesurer la corrélation entre les métriques hors ligne (précision du reward model) et la satisfaction de l'utilisateur en ligne.