Apertus Engineer: Infrastructure

Siamo alla ricerca di un esperto ingegnere delle infrastrutture da inserire nel team Apertus. Il candidato ideale si occuperà dello stack di immagini container alla base dei nostri carichi di lavoro di pre-training, post-training e serving, e collaborerà con gli ingegneri del CSCS per mantenere stabile e veloce l'addestramento su larga scala su Alps. Questo ruolo richiede solide competenze Linux e nei container, esperienza con ambienti HPC e la capacità di lavorare in modo collaborativo con i team di ricerca, ingegneria e operazioni. Il progetto Apertus, uno sforzo congiunto tra EPFL, ETH Zürich e CSCS, è alla ricerca di un ingegnere delle infrastrutture pratico e motivato per aiutare a costruire la prossima versione di Apertus. Il candidato selezionato gestirà lo stack di immagini container e lavorerà a stretto contatto con il CSCS per mantenere l'addestramento su larga scala stabile e veloce. Addestriamo modelli di fondazione open con centinaia di miliardi di parametri su migliaia di GPU su uno dei più grandi supercomputer pronti per l'AI in Europa. Il team conta più di una dozzina di ingegneri full-time che lavorano al fianco di ricercatori leader di EPFL ed ETH Zürich, ha rilasciato i modelli Apertus 1 e Apertus 1.5 e lavora con oltre trenta collaboratori accademici per fornire modelli AI multilingue e multimodali, completamente open (open source) e addestrati in modo responsabile, per la ricerca e l'industria. Apertus è addestrato e sviluppato su Alps, l'infrastruttura di supercalcolo del Swiss National Supercomputing Centre (CSCS). Il ruolo richiede una persona che si senta a proprio agio nel lavorare in un ambiente HPC e nel collaborare con ricercatori e ingegneri delle infrastrutture. L'ingegnere garantirà stabilità e throughput per le pipeline di pre-training e post-training di Apertus mantenendo le immagini del sistema ML e collaborando con il CSCS sull'infrastruttura sottostante. Manutenzione delle immagini del sistema ML Costruire, mantenere e aggiornare le immagini container per tutte le fasi principali dello sviluppo ML: pre-training, post-training/alignment e model serving/deployment Targetizzare l'architettura dei nodi basata su ARM (aarch64, Grace-Hopper) di Alps, gestendo l'intero stack di dipendenze (CUDA, NCCL, PyTorch, framework di training e serving) Mantenere le build delle immagini riproducibili, versionate e documentate, incluso il CI per build e aggiornamenti Validare le immagini rispetto ai carichi di lavoro di riferimento di pre-training e post-training insieme agli ingegneri di Apertus, e mantenere esempi di avvio funzionanti Partnership computazionale ed efficienza Agire come principale punto di contatto tecnico con gli ingegneri e i ricercatori del CSCS per quanto riguarda il calcolo, l'affidabilità e l'efficienza Lavorare in collaborazione con il personale del CSCS per identificare e implementare miglioramenti nell'efficienza e nelle prestazioni dell'infrastruttura computazionale sottostante, sovrapponendosi all'ingegneria delle prestazioni dei sistemi ML Contribuire a miglioramenti sistemici nelle risorse basate sul CSCS (rete, storage, scheduling) rilevanti per l'addestramento di LLM su larga scala Documentare e diffondere la conoscenza istituzionale sull'infrastruttura CSCS e sulle migliori pratiche per sfruttare questi sistemi ad alte prestazioni Stress testing dell'infrastruttura Effettuare stress test dell'infrastruttura utilizzando carichi di lavoro rappresentativi di pre-training e post-training, basandosi sulle ricette ed esempi esistenti del progetto, per convalidare stabilità e throughput dopo aggiornamenti di immagini, manutenzione del sistema e modifiche di configurazione Lavorare a stretto contatto con gli ingegneri di pre-training e post-training di Apertus per risolvere problemi a livello di cluster che influenzano la stabilità e il throughput: guasti dei nodi, networking, prestazioni dello storage, checkpointing e scheduling Supportare lo stack di serving di Apertus, che si basa sulle stesse immagini (la gestione operativa dello stack di serving è affidata a un ingegnere separato) Essenziali MSc o PhD in Computer Science, Data Science, Artificial Intelligence, Machine Learning o un campo correlato Saranno presi in considerazione anche candidati eccezionali con BSc e una forte esperienza ingegneristica Esperienza pratica con ambienti HPC: job scheduler come Slurm, filesystem condivisi e sistemi GPU multi-nodo Forti competenze nei sistemi Linux e nei container (Docker/Podman e runtime HPC come enroot o Apptainer) Forti capacità di collaborazione e comunicazione e capacità di lavorare tra i team di ricerca, ingegneria e operazioni È richiesta una precedente esperienza pratica nei domini core di questo ruolo Questa può essere un'esperienza basata su progetti o studi; è preferibile un'esperienza lavorativa formale Un alto grado di flessibilità: priorità, strumenti e compiti quotidiani cambiano con i programmi di addestramento, i rilasci e un campo in rapida evoluzione Fortemente preferiti Conoscenza di framework di training e serving di LLM come Megatron-LM, PyTorch distributed, vLLM o SGLang Esperienza nella costruzione o adattamento di container per piattaforme ARM64/aarch64 Conoscenza degli stack di rete e comunicazione HPC: Slingshot, libfabric, NCCL e il suo debugging Esperienza con filesystem paralleli (ad es. Lustre) e ottimizzazione delle prestazioni dello storage Esperienza nella configurazione di pipeline CI/CD per la build di immagini container Nice to have Ricerca pubblicata nei domini rilevanti per questo ruolo, o familiarità con ricerche pubblicate recentemente su questi argomenti Esperienza nel profiling di carichi di lavoro GPU distribuiti (Nsight, DCGM, benchmark di comunicazione) e nel tradurre i risultati in miglioramenti dell'infrastruttura Esperienza con Grace-Hopper (GH200) o altre architetture CPU-GPU strettamente accoppiate Contributi a infrastrutture open-source o strumenti ML Un ambiente accademico stimolant