SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots - LIUM - Equipe Language and Speech Technology
Communication Dans Un Congrès Année : 2024

SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots

Résumé

SINr. La représentation vectorielle du lexique est une problématique classique du traitement automatique du langage naturel. Les plongements lexicaux sont des vecteurs dans un espace où deux mots sémantiquement proches ont des représentations peu éloignées. Les méthodes telles que Word2vec utilisent des réseaux de neurones sur les cooccurrences des mots pour construire ces représentations. Les transformers ont démontré leur pertinence en contextualisant les vecteurs avec des architectures de plus en plus grandes. SINr (Sparse Interpretable Node Representations) est introduit par Prouteau et al. (2021) pour ne pas se concentrer uniquement sur des objectifs de performance, mais pour entraîner des vecteurs de mots interprétables de façon frugale (Prouteau et al., 2022). Pour cela, SINr s'appuie sur un graphe de cooccurrences pondéré : les noeuds représentent les mots et sont connectés entre eux par des arêtes valuées en fonction de leur nombre de cooccurrences dans le corpus. Des communautés sont alors détectées sur le graphe de cooccurrences et utilisées comme dimensions de l'espace latent : le vecteur d'un mot est extrait en utilisant ses liens avec les communautés extraites. En accord avec l'hypothèse distributionnelle, Prouteau et al. (2021) considèrent que les mots qui distribuent leurs liens de manière similaire sur les communautés ont un sens similaire. Or, si la méthode est à l'état de l'art de l'interprétabilité tout en étant considérablement plus frugale que les approches concurrentes comme SPINE, et que SINr obtient des performances en similarité identiques à SPINE, celles-ci sont néanmoins légèrement inférieures à Word2vec.
Fichier principal
Vignette du fichier
_DIGING__EGC_2024_2pages.pdf (223.65 Ko) Télécharger le fichier
Origine Fichiers produits par l'(les) auteur(s)
licence

Dates et versions

hal-04470451 , version 1 (21-02-2024)

Licence

Identifiants

  • HAL Id : hal-04470451 , version 1

Citer

Anna Béranger, Nicolas Dugué, Simon Guillot, Thibault Prouteau. SINr-filtered : Favoriser l'émergence du sens en filtrant les communautés extraites des réseaux de cooccurrences de mots. Extraction et Gestion des Connaissances, Jan 2024, Dijon, France. pp.429-430. ⟨hal-04470451⟩
70 Consultations
45 Téléchargements

Partager

More