Architectures neuronales bout-en-bout pour la compréhension de la parole - LIUM - Equipe Language and Speech Technology Accéder directement au contenu
Communication Dans Un Congrès Année : 2022

Architectures neuronales bout-en-bout pour la compréhension de la parole

Résumé

In this paper, we focus on end-to-end architectures designed to tackle spoken language understanding problems. We propose encoder-decoder architectures with an attention mechanism that focuses on relevant contextual acoustic features to hypothesize semantic contents. A first architecture has been built in order to extract pronounced words and concepts from speech. Tested on the M EDIA dataset, it obtains good results, and combined with a language model, it lowers the error by 2.8 points from the state-of-the-art results with end-to-end systems. With this same architecture, we propose a new configuration allowing to predict both concepts and their values. Lastly, a new architecture is proposed, composed of multiple chained decoders for a single encoder. With this architecture, we aim to improve the decoder with both linguistic and acoustic informations.
Dans cet article, nous nous intéressons au problème de la compréhension de la parole et à sa résolution dans le cadre d'architectures dites bout-en-bout. Les différentes architectures proposées, basées sur des modèles neuronaux encodeurs-décodeurs avec mécanisme d'attention permettent d'émettre des hypothèses de contenus sémantiques directement à partir des caractéristiques acoustiques. Une première architecture a été conc ¸ue afin d'extraire à la fois les mots prononcés et les concepts. Testée sur le corpus MEDIA, elle permet une réduction d'erreur en absolu de 2,8 points par rapport à l'état de l'art. Avec cette même architecture, nous proposons une configuration originale permettant d'émettre également des hypothèses sur les valeurs des concepts. Enfin, une architecture composée de plusieurs décodeurs neuronaux chaînés pour un seul encodeur est testée dans l'objectif d'enrichir le décodeur d'informations linguistiques en plus des informations acoustiques.
Fichier principal
Vignette du fichier
JEP_2022-2.pdf (1019.12 Ko) Télécharger le fichier
Origine : Fichiers produits par l'(les) auteur(s)

Dates et versions

hal-03770548 , version 1 (25-01-2024)

Identifiants

  • HAL Id : hal-03770548 , version 1

Citer

Valentin Pelloin, Nathalie Camelin, Antoine Laurent, Renato de Mori, Sylvain Meignier. Architectures neuronales bout-en-bout pour la compréhension de la parole. JEP 2022, Jun 2022, Île de Noirmoutier, France. ⟨hal-03770548⟩
61 Consultations
8 Téléchargements

Partager

Gmail Facebook X LinkedIn More