Ingénieur de recherche / Scientifique de recherche, Pré-entraînement

À propos d'Anthropic La mission d'Anthropic est de créer des systèmes d'IA fiables, interprétables et orientables. Nous voulons que l'IA soit sûre et bénéfique pour nos utilisateurs et pour la société dans son ensemble. Notre équipe est un groupe en plein essor de chercheurs, d'ingénieurs, d'experts en politiques et de dirigeants d'entreprise qui travaillent ensemble pour construire des systèmes d'IA bénéfiques. À propos de l'équipe Nous recherchons des scientifiques et des ingénieurs de recherche passionnés pour rejoindre notre équipe de pré-entraînement en plein essor à Zurich. Nous sommes impliqués dans le développement de la prochaine génération de grands modèles de langage. L'équipe se concentre principalement sur les capacités multimodales : donner aux LLM la capacité de comprendre et d'interagir avec des modalités autres que le texte. Dans ce rôle, vous travaillerez à l'intersection de la recherche de pointe et de l'ingénierie pratique, contribuant au développement de systèmes d'IA sûrs, orientables et fiables. Responsabilités Dans ce rôle, vous interagirez avec de nombreuses parties de la pile de recherche et d'ingénierie. Effectuez des recherches et mettez en œuvre des solutions dans des domaines tels que l'architecture de modèle, les algorithmes, le traitement de données et le développement d'optimiseurs Dirigez de petits projets de recherche de manière indépendante tout en collaborant avec les membres de l'équipe sur des initiatives plus importantes Concevez, exécutez et analysez des expériences scientifiques pour faire progresser notre compréhension des grands modèles de langage Optimisez et mettez à l'échelle notre infrastructure de formation pour améliorer l'efficacité et la fiabilité Développez et améliorez les outils de développement pour améliorer la productivité de l'équipe Contributez à l'ensemble de la pile, des optimisations de bas niveau à la conception de modèle de haut niveau Qualifications et expérience Nous encourageons les candidats à postuler même s'ils ne pensent pas répondre à chaque critère. Puisque nous nous concentrons sur de nombreux domaines, l'équipe recherche à la fois des ingénieurs expérimentés et des chercheurs solides, et encourage quiconque se situe sur le spectre chercheur/ingénieur à postuler. Diplôme (BA requis, MS ou PhD préféré) en informatique, en apprentissage automatique ou dans un domaine connexe Solides compétences en ingénierie logicielle avec un dossier prouvant la construction de systèmes complexes Expertise en Python et en frameworks d'apprentissage profond Ayez travaillé sur des systèmes ML à haute performance et à grande échelle, en particulier dans le contexte de la modélisation du langage Connaissance des accélérateurs ML, de Kubernetes et du traitement de données à grande échelle Solides compétences en résolution de problèmes et mentalité axée sur les résultats Excellentes compétences en communication et capacité à travailler dans un environnement collaboratif Vous prospérerez dans ce rôle si vous Avez une expérience significative en ingénierie logicielle Êtes capable d'équilibrer les objectifs de recherche avec les contraintes d'ingénierie pratiques Êtes heureux de prendre des tâches en dehors de votre description de poste pour soutenir l'équipe Aimez la programmation en paire et le travail collaboratif Êtes impatient d'en apprendre davantage sur la recherche en apprentissage automatique Êtes enthousiastes à l'idée de travailler dans une organisation qui fonctionne comme une seule équipe cohésive poursuivant des projets de recherche en IA à grande échelle Avez des objectifs ambitieux pour la sécurité et le progrès général de l'IA dans les prochaines années, et vous êtes enthousiastes à créer les meilleurs résultats à long terme Projets exemples Optimisation du débit de nouveaux mécanismes d'attention Proposition de variants de Transformers et comparaison expérimentale de leurs performances Préparation de grands ensembles de données pour la consommation de modèles Mise à l'échelle de tâches de formation distribuées à des milliers d'accélérateurs Conception de stratégies de tolérance aux pannes pour l'infrastructure de formation Création de visualisations interactives des internes de modèle, telles que les modèles d'attention Si vous êtes enthousiastes à l'idée de repousser les limites de l'IA tout en donnant la priorité à la sécurité et à l'éthique, nous voulons vous entendre ! Logistique Éducation minimale : diplôme de bachelor ou une combinaison équivalente d'éducation, de formation et/ou d'expérience Domaine d'études requis : un domaine pertinent pour le poste, démontré par des cours, une formation ou une expérience professionnelle Années d'expérience minimales : les années d'expérience requises seront corrélées aux exigences de niveau de poste interne Politique hybride basée sur l'emplacement : actuellement, nous attendons de tout le personnel qu'il soit dans l'un de nos bureaux au moins 25 % du temps. Cependant, certains postes peuvent nécessiter plus de temps dans nos bureaux. Parrainage de visa : nous parrainons des visas ! Cependant, nous ne sommes pas en mesure de parrainer avec succès des visas pour chaque poste et chaque candidat. Mais si nous vous faisons une offre, nous ferons tous les efforts raisonnables pour vous obtenir un visa, et nous conservons un avocat en immigration pour nous aider dans ce processus. Nous encourageons les candidats à postuler même s'ils ne pensent pas répondre à chaque qualification. Tous les candidats solides ne répondront pas à chaque qualification énumérée. Des recherches ont montré que les personnes qui s'identifient comme faisant partie de groupes sous-représentés sont plus susceptibles de ressentir le syndrome de l'imposteur et de douter de la force de leur candidature, nous vous encourageons donc à ne pas vous exclure prématurément et à soumettre une demande si vous êtes intéressés par ce travail. Nous pensons que les systèmes d'IA comme c