Multi-modal AI methods in the context of heterogeneous oceanic observations and multisensor maritime surveillance - Equipe Observations Signal & Environnement
Thèse Année : 2024

Multi-modal AI methods in the context of heterogeneous oceanic observations and multisensor maritime surveillance

Méthodes IA multimodales dans des contextes d’observation océanographique et de surveillance maritime multi-capteurs hétérogènes

Résumé

The aim of this thesis is to study the simultaneous use of heterogeneous ocean datasets to improve the performance of predictive models used in scientific and operational fields for the simulation and analysis of the ocean and marine environment. Two distinct case studies were explored in the course of the thesis work. The first study focuses on the local estimation of wind speed at the sea surface from underwater soundscape measurements and atmospheric model products. The second study considers the spatial extension of the problem and the use of observations at different scales and spatial resolutions, from pseudo-observations simulating satellite images to time series measured by in-situ infrastructures. The recurring theme of these investigations is the multi-modality of the data fed into the model. That is, to what extent and how the predictive model can benefit from the use of spatio-temporally heterogeneous information channels. The preferred methodological tool is a simulation system based on variational data assimilation and deep learning concepts.
Cette thèse vise à étudier l’utilisation simultanée d’ensembles de données océaniques hétérogènes afin d’améliorer les performances des modèles prédictifs utilisés dans les domaines scientifiques et opérationnels pour la simulation et l’analyse de l’océan et du milieu marin. Deux études de cas distinctes ont été explorées au cours des travaux de thèse. La première étude se concentre sur l’estimation locale de la vitesse du vent à la surface de la mer à partir de mesures du paysage sonore sous-marin et de produits de modèles atmosphériques. La deuxième étude considère l’extension spatiale du problème et l’utilisation d’observations à différentes échelles et résolutions spatiales, depuis les pseudo-observations simulant des images satellites jusqu’aux séries temporelles mesurées par des infrastructures in-situ. Le thème récurrent de ces recherches est la multi-modalité des données introduites dans le modèle. En d’autres termes, dans quelle mesure et comment le modèle prédictif peut bénéficier de l’utilisation de canaux d’information spatio-temporels hétérogènes. L’outil méthodologique privilégié est un système de simulation basé sur l’assimilation variationnelle des données et les concepts d’apprentissage profond.
Fichier principal
Vignette du fichier
2024IMTA0391_Zambra_Matteo_Diffusion.pdf (17.07 Mo) Télécharger le fichier
Origine Version validée par le jury (STAR)

Dates et versions

tel-04497858 , version 1 (11-03-2024)

Identifiants

  • HAL Id : tel-04497858 , version 1

Citer

Matteo Zambra. Multi-modal AI methods in the context of heterogeneous oceanic observations and multisensor maritime surveillance. Signal and Image Processing. Ecole nationale supérieure Mines-Télécom Atlantique, 2024. English. ⟨NNT : 2024IMTA0391⟩. ⟨tel-04497858⟩
139 Consultations
60 Téléchargements

Partager

More