Les offres de “CEA”

Nouveau CEA

Efficient implementation of transformer-based models for embedded devices H/F

  • Stage
  • Palaiseau (Essonne)

Description de l'offre

Détail de l'offre

Informations générales

Entité de rattachement

Le CEA est un acteur majeur de la recherche, au service des citoyens, de l'économie et de l'Etat.

Il apporte des solutions concrètes à leurs besoins dans quatre domaines principaux : transition énergétique, transition numérique, technologies pour la médecine du futur, défense et sécurité sur un socle de recherche fondamentale. Le CEA s'engage depuis plus de 75 ans au service de la souveraineté scientifique, technologique et industrielle de la France et de l'Europe pour un présent et un avenir mieux maîtrisés et plus sûrs.

Implanté au cœur des territoires équipés de très grandes infrastructures de recherche, le CEA dispose d'un large éventail de partenaires académiques et industriels en France, en Europe et à l'international.

Les 20 000 collaboratrices et collaborateurs du CEA partagent trois valeurs fondamentales :

• La conscience des responsabilités
• La coopération
• La curiosité

Référence

2025-37243

Description de l'unité

Le Laboratoire Intelligence Artificielle Embarquée (LIAE) est chargé de concevoir, de développer et de mettre en œuvre des solutions basé réseaux de neurones optimisées pour les systèmes embarqués.

En rejoignant notre équipe dynamique et expérimentée, vous contribuerez au développement de notre expertise sur les nouveaux réseaux de neurones pour l'embarqué très prisés dans l'industrie française et européenne de demain.

Description du poste

Domaine

Sciences pour l'ingénieur

Contrat

Stage

Intitulé de l'offre

Efficient implementation of transformer-based models for embedded devices H/F

Sujet de stage

Les modèles basés sur les transformers ont atteint des résultats à l'état de l'art dans de multiples domaines grâce à leur puissance de représentation et leur adaptabilité. Bien que leurs paramètres soient souvent rendus publics, leur exécution et leur déploiement restent complexes en raison de leur empreinte mémoire élevée et de leurs besoins computationnels importants. Ansi, au LIAE, nous nous intéressons particulièrement aux implémentations efficaces en C++ ciblant les dispositifs embarqués avec la plateforme Aidge du CEA.

Durée du contrat (en mois)

6 mois

Description de l'offre

Rejoignez-nous en Stage !



CEA Tech CorporatefromCEA TechonVimeo.


Description du poste :


L’objectif principal est de renforcer les projets internes en cours et futurs via la plateforme open-source du CEA, Aidge [1]. Celle-ci offre un support étendu pour différents opérateurs couramment utilisés dans les modèles CNN et au-delà, et permet de générer des implémentations C++ pour des dispositifs embarqués. Le stage vise à exploiter la base de code existante et l’expertise disponible pour étendre la couverture des modèles. Ansi, nous cherchons à augumenter les capacités de la plateforme pour inclure les architectures les plus récentes. Cela impliquera de proposer des implémentations de référence en C++ pour des plateformes matérielles cibles, en fonction de l’avancement du stage. Pour référence, le ou la candidat·e pourra s’appuyer sur des implémentations telles que XNNPACK [2], GGML [3] et FBGEMM [4].


Le stage se concentrera initialement sur les modèles de vision (ViT [5]). La première tâche consistera en une étude visant à comprendre les blocs de base les plus courants et la faisabilité de leur implémentation sur des dispositifs embarqués. Le ou la stagiaire identifiera ce qui a déjà été réalisé ainsi que les limites imposées par les ressources computationnelles cibles. Ces blocs identifiés seront ensuite implémentés en virgule flottante dans la plateforme Aidge en utilisant le C++. Le résultat attendu du stage est la génération du code nécessaire à l’exécution d’un modèle de référence sur une cible matérielle donnée.


Les principales missions du ou de la candidat·e seront les suivantes :


* Une étude de faisabilité sur les limites d’embarcabilité des derniers modèles de type ViT.


* Implémentation des couches/opérateurs en C++ (LayerNorm, Multi-head Attention, Softmax, GeLU, Linear, etc.) dans la plateforme Aidge.


* Optimisation des implémentations pour les cibles x86 et ARM Cortex-M.


* (Bonus) Extension sur ARM Cortex-A.


* (Bonus) Possibilité d’étendre les travaux à des modèles de type LLM.


* (Bonus) Une implémentation complète en entier.


Le ou la candidat·e sera amené·e à collaborer et échanger régulièrement avec des chercheurs et ingénieurs au sein d’une équipe dynamique et pluridisciplinaire.


Références :


[1] - Aidge : https://eclipse.dev/aidge/


[2] - XNNPACK : https://github.com/google/XNNPACK


[3] - GGML: https://github.com/ggml-org/ggml


[4] - FBGEMM: https://github.com/pytorch/FBGEMM


[5] - Dosovitskiy, Alexey, et al. "An image is worth 16x16 words: Transformers for image recognition at scale." arXiv preprint arXiv:2010.11929 (2020).

Moyens / Méthodes / Logiciels

Serveur de calcul, Aidge

Profil recherché

Profil du candidat

Qu’attendons-nous de vous ?


Vous préparez un diplôme de niveau bac+5 dans le domaine des systèmes embarquées et du traitement de signal.


Vous êtes passionné par la recherche scientifique et technologique. Idéalement, vous possédez une première expérience de travail avec le C++ et les réseuax de neurones. Des notions sur Pytorch et les réseuax du type transformer sont un plus. La maitrise de lecture de papiers scientifiques de référence en anglais serait également appréciée.


Compétences :


[Obligatoire]


* Une première expérience en développement en C++


* Git


[Préférable]


* Connaissances des architectures matérielles


* Connaissances en Python


* Réseaux de neurones et transformer


Rejoignez-nous, venez développer vos compétences et en acquérir de nouvelles !


Vous avez encore un doute ? Nous vous proposons :



  • L'opportunité de travailler au sein d'une organisation de renommée mondiale dans le domaine de la recherche scientifique,

  • Un environnement unique dédié à des projets ambitieux au profit des grands enjeux sociétaux actuels,

  • Une expérience à la pointe de l’innovation, comportant un fort potentiel de développement industriel,

  • Des moyens expérimentaux exceptionnels et un encadrement de qualité,

  • De réelles opportunités de carrière à l’issue de votre stage

  • Un poste au cœur de la métropole grenobloise, facilement accessible via la mobilité douce favorisée par le CEA,

  • Une participation aux transports en commun à hauteur de 85%,

  • Un équilibre vie privée – vie professionnelle reconnu,

  • Un restaurant d'entreprise,

  • Une politique diversité et inclusion,


Conformément aux engagements pris par le CEA en faveur de l'intégration des personnes handicapées, cet emploi est ouvert à toutes et à tous. Le CEA propose des aménagements et/ou des possibilités d'organisation pour l'inclusion des travailleurs handicapés.

Faire de chaque avenir une réussite.
  • Annuaire emplois
  • Annuaire entreprises
  • Événements