(English below)
Sujet de thèse : Identification et anticipation des expressions faciales : l’effet du filtrage des fréquences spatiales
Thème du projet : La visioconférence est un outil de collaboration de plus en plus fréquemment utilisé. Dans ce contexte, diverses informations sont disponibles : les informations verbales et non-verbales des personnes connectées ainsi que le support visuel (diaporama affiché, document de traitement de texte collaboratif, document de prise de notes). Pour une interaction efficace, il est important de reconnaître rapidement la présence des signaux émotionnels exprimés par les visages des interlocuteurs. Cette détection rapide reposerait sur la capacité des individus à anticiper (extrapoler automatiquement) la suite des expressions faciales (Prigent et al., 2018). Cette anticipation, soutenue par un cerveau prédictif permettrait également de pallier les interruptions intempestives de mouvements, par exemple lorsqu’un interlocuteur est brusquement remplacé à l’écran par un autre qui lui aurait coupé la parole.
Ce mécanisme d’anticipation rapide pourrait s’appuyer sur la manière dont le cerveau traite l’information visuelle. Des recherches en neurosciences ont montré que les basses fréquences spatiales et les hautes fréquences spatiales des images d’expressions faciales sont traitées différemment. Les basses fréquences sont traitées rapidement et fournissent une idée générale de l'expression émotionnelle (Vlamings et al., 2009 ; Wang et al., 2021), tandis que les fréquences plus élevées prennent plus de temps à analyser mais fournissent des informations plus détaillées sur les expressions faciales. Beaucoup d’études de ce type ont porté sur des expressions faciales statiques, mais peu se sont intéressées aux expressions dynamiques qui sont pourtant bien plus pertinentes dans le quotidien des interactions humaines. Encore moins d’études se sont intéressées aux mécanismes prédictifs impliqués dans leur perception.
Le présent projet porte sur l’étude de l’impact du filtrage des fréquences spatiales (hautes et basses fréquences) sur l’identification des émotions exprimées et sur l’anticipation de la suite de l’expression faciale.
D’un point de vue applicatif, l’objectif de ce projet doctoral serait de déterminer comment afficher (filtrage de fréquences spatiales) les informations faciales pertinentes de manière à aider l’utilisateur en contexte de visioconférence.
Références :
Prigent, E., Amorim, M., & De Oliveira, A. M. (2018). Representational momentum in dynamic facial expressions is modulated by the level of expressed pain: Amplitude and direction effects. Attention Perception & Psychophysics, 80(1), 82‑93. https://doi.org/10.3758/s13414-017-1422-6
Vlamings, P. H. J. M., Goffaux, V., & Kemner, C. (2009). Is the early modulation of brain activity by fearful facial expressions primarily mediated by coarse low spatial frequency information? Journal of Vision, 9(5), 12-12. https://doi.org/10.1167/9.5.12
Wang, S., Eccleston, C., & Keogh, E. (2021). The Time Course of Facial Expression Recognition Using Spatial Frequency Information : Comparing Pain and Core Emotions. The Journal of Pain, 22(2), 196‑208. https://doi.org/10.1016/j.jpain.2020.07.004
Contexte : La personne recrutée sera encadrée par Ouriel Grynszpan (PU en informatique, groupe AMI) et Elise Prigent (MCF en psychologie, groupe CPU). Elle sera intégrée au groupe AMI (Architectures et Modèles pour l'Interaction) et collaborera avec le groupe CPU (Cognition Perception et Usages) du LISN (Laboratoire Interdisciplinaire des Sciences du Numérique). La thèse fait partie d'un projet appelé PRECOG (Prédiction pour la COGnition partagée en collaboration avec des agents humains ou artificiels) soutenu par l'ANR (Agence Nationale de la Recherche) et qui comprend 5 unités de recherche différentes : LISN, PICS-L (Perception, Interactions, Comportements et Simulation des usagers de la route et de la rue, Univ. Gustave Eiffel), LaPEA (laboratoire de Psychologie et d’Ergonomie Appliquées, Univ. Gustave Eiffel), DTIS (Département du Traitement de l’Information et Systèmes, ONERA), et l’Institut Jean-Nicod (Ecole Normale Supérieure).
Profil recherché :
- Master de Neurosciences, Sciences Cognitives, STAPS ou Psychologie.
- Bonnes connaissances des méthodologies expérimentales et statistiques.
- Candidat(e) dynamique, motivé(e) et autonome.
- D’autres types de profils pourront être considérés selon les compétences.
Pour candidater : Envoyer par mail à Ouriel Grynszpan (ouriel.grynszpan@universite-paris-saclay.fr) et à Elise Prigent (elise.prigent@universite-paris-saclay.fr) : un CV, une lettre de motivation et les relevés de notes disponibles de Master et Licence.
PhD position in psychology, LISN, Université Paris-Saclay
PhD subject: Identification and anticipation of facial expressions: the effect of spatial frequency filtering
Project theme: Videoconferencing is more and more frequently used as a collaborative tool. In this context, various types of information are available: the verbal and nonverbal information conveyed by participants, as well as visual content (slideshows, collaborative word-processing documents, shared note-taking documents). For an effective interaction, it is important to be able to rapidly recognize the emotional signals expressed by the partakers’ facial expressions. This rapid detection is thought to rely on individuals’ ability to anticipate (i.e., automatically extrapolate) the continuation of facial expressions (Prigent et al., 2018). Such anticipation, supported by the predictive brain, may also help compensate for abrupt interruptions of motion, for example when one speaker is suddenly replaced on screen by another person interrupting them.
This rapid anticipation mechanism may rely on the way the brain processes visual information. Neuroscience research has shown that low spatial frequencies and high spatial frequencies in facial expression images are processed differently. Low spatial frequencies are processed rapidly and provide a general understanding of the emotional expression (Vlamings et al., 2009; Wang et al., 2021), whereas higher frequencies take longer to analyze but provide more detailed information about facial expressions. Many studies of this kind have focused on static facial expressions, but few have investigated dynamic expressions, despite their much greater relevance in everyday human interactions. Even fewer studies have examined the predictive mechanisms involved in their perception.
The present project investigates the impact of spatial frequency filtering (high and low spatial frequencies) on the identification of facial expressions of emotions and on the anticipation of the continuation of those facial expressions.
Regarding application perspective, the objective of this doctoral project is to determine how relevant facial information should be displayed (through spatial frequency filtering) in order to assist users in videoconferencing contexts.
References:
Prigent, E., Amorim, M., & De Oliveira, A. M. (2018). Representational momentum in dynamic facial expressions is modulated by the level of expressed pain: Amplitude and direction effects. Attention Perception & Psychophysics, 80(1), 82‑93. https://doi.org/10.3758/s13414-017-1422-6
Vlamings, P. H. J. M., Goffaux, V., & Kemner, C. (2009). Is the early modulation of brain activity by fearful facial expressions primarily mediated by coarse low spatial frequency information? Journal of Vision, 9(5), 12-12. https://doi.org/10.1167/9.5.12
Wang, S., Eccleston, C., & Keogh, E. (2021). The Time Course of Facial Expression Recognition Using Spatial Frequency Information : Comparing Pain and Core Emotions. The Journal of Pain, 22(2), 196‑208. https://doi.org/10.1016/j.jpain.2020.07.004
Context: The candidate will be supervised by Ouriel Grynszpan (Full Professor of Computer Science, AMI Group) and Elise Prigent (Assistant Professor of Psychology, CPU Group). The PhD candidate will join the AMI group (Architectures and Models for Interaction) and collaborate with the CPU group (Cognition Perception and Uses) of the LISN (Laboratoire Interdisciplinaire des Sciences du Numérique). The thesis is part of a project called PRECOG (PREdiction for shared COGnition in collaboration with human or artificial agents) supported by the ANR (French National Research Agency) that includes 5 different laboratories: LISN, PICS-L (Perception, Interactions, Comportements et Simulation des usagers de la route et de la rue, Univ. Gustave Eiffel), LaPEA (laboratoire de Psychologie et d’Ergonomie Appliquées, Univ. Gustave Eiffel), DTIS (Département du Traitement de l’Information et Systèmes, ONERA), and the Jean-Nicod Institut (Ecole Normale Supérieure).
Desirable profile:
- Master in Neuroscience, Cognitive Sciences or Psychology.
- Good knowledge of experimental and statistical methodologies.
- Dynamic, motivated and autonomous candidate.
- Other types of profiles may be considered depending on skills.
To apply: Send by mail to Ouriel Grynszpan (ouriel.grynszpan@universite-paris-saclay.fr) and Elise Prigent (elise.prigent@universite-paris-saclay.fr): CV, cover letter and available transcripts of grades (Master and Bachelor).