Stage M2 Robustesse des réseaux de neurones par apprentissage antagoniste H/F
Stage Saclay (Essonne) Ventes
Description de l'offre
Détail de l'offre
Informations générales
Entité de rattachement
Le Commissariat à l'énergie atomique et aux énergies alternatives (CEA) est un organisme public de recherche.Acteur majeur de la recherche, du développement et de l'innovation, le CEA intervient dans le cadre de ses quatre missions :
. la défense et la sécurité
. l'énergie nucléaire (fission et fusion)
. la recherche technologique pour l'industrie
. la recherche fondamentale (sciences de la matière et sciences de la vie).
Avec ses 16000 salariés -techniciens, ingénieurs, chercheurs, et personnel en soutien à la recherche- le CEA participe à de nombreux projets de collaboration aux côtés de ses partenaires académiques et industriels.
Référence
2019-11095Description de l'unité
Au sein du Commissariat à l'Énergie Atomique et aux Énergies Alternatives (CEA), le Service de Thermohydraulique et de Mécanique des Fluides (STMF) étudie les écoulements et les transferts thermiques au sein des réacteurs nucléaires.
Le stage sera réalisé au sein du STMF dans le laboratoire LGLS qui dispose de compétences en génie logiciel et modélisation statistique appliquées à la simulation numérique.
Description du poste
Domaine
Mathématiques, information scientifique, logiciel
Contrat
Stage
Intitulé de l'offre
Stage M2 Robustesse des réseaux de neurones par apprentissage antagoniste H/F
Sujet de stage
Le but du stage sera d'étendre l'apprentissage antagoniste aux problèmes de régression non linéaire comme ceux rencontrés pour représenter par réseaux de neurones des phénomènes physiques complexes. On s'inspirera des travaux [3] portant sur une méthode nommée « defensive distillation » visant à réduire les effets des éventuelles attaques adverses. Cette méthode permet de rendre les réseaux de neurones plus robustes, moins sensibles aux petites variations des entrées. On fera le lien entre cette forme de régularisation et des méthodes mathématiques [4] développées dans un cadre plus formel [5] afin d'estimer la régularité (Lipschtiz) du réseau de neurones. La mise en œuvre de ces méthodes de régularisation portera sur l'apprentissage par réseaux de neurones de modèles dans le domaine de la turbulence ou dans celui de la simulation d'un phénomène d'une physique complexe. L'apprentissage machine des modèles se fera en utilisant une des bibliothèques Python usuelles en Machine Learning.
Durée du contrat (en mois)
4 à 6 mois
Description de l'offre
L’apprentissage machine des réseaux de neurones et notamment ceux à architecture profonde rencontre d’énormes succès aussi bien en classification supervisée pour la reconnaissance de formes (images, parole, …) qu’en régression pour modéliser des phénomènes physiques complexes (turbulence, chimie moléculaire, …). Des récents travaux ont montré que la validation de ces modèles peut s’avérer incomplète notamment en grande dimension. En effet cette validation n’est que de nature statistique dans la mesure où le cadre théorique de l’apprentissage ne donne aujourd’hui aucune garantie sur les modèles inférés par apprentissage. En grande dimension, les méthodes classiques de validation croisée ou de régularisation peuvent ne plus être suffisantes. Les méthodes de validation, de robustesse pour une IA de « confiance » doivent donc être étendues. C’est notamment le cas lorsque les réseaux de neurones sont utilisés en cyber sécurité, dans les systèmes de conduite autonome ou dans le calcul scientifique pour simuler des phénomènes ou des systèmes complexes ou critiques.
En grande dimension, l’insuffisance des méthodes classiques de validation a été récemment rappelée et illustrée par la notion de vulnérabilité de l’apprentissage machine face à de très légères modifications des entrées du modèle [1]. Par exemple pour un système de sécurité où la décision repose sur une reconnaissance d’images, une modification sur quelques pixels peut suffire à tromper le système (exemple de l’image bruitée du Panda ci-dessus). Cette légère modification peut être calculée par un réseau de neurones adverse. Cette vulnérabilité a été formalisée par la notion d’apprentissage antagoniste (adversial learning) où un réseau « adverse » apprend à « manipuler » le réseau « apprenant ». En classification supervisée, l’apprentissage antagoniste a permis des avancées significatives dans la réduction de la vulnérabilité de l’apprentissage statistique [2].
Références
[1] Szegedy and al., Intriguing properties of neural networks, ICLR (2013)
[2] Carlini and al., Towards evaluating the robustness of neural networks, arXiv, 2017
[3] Papernot and al., Distillation as a defense to adversial perturbations against deep neural networks, IEEE, Symposium on Security and Privacy, 2016
[4] Scaman and al., Lipschitz regularity of deep neural networks, arXiv, 2018
[5] Mallat, Understanding deep conventional networks, arXiv, 2016
Moyens / Méthodes / Logiciels
TensorFlow, Pytorch,...
Profil recherché
Profil du candidat
Master 2 ou 3e année d'école d'ingénieurs avec :
- des connaissances en mathématiques appliquées et apprentissage statistique;
- des compétences en informatique scientifique (Python, Linux).
- un intérêt pour la recherche académique