Constructive approaches to worst-case complexity analyses of gradient methods for convex optimization : contributions, new insights, and novel results
Approches constructives pour l'analyse de pire cas des méthodes de gradient en optimisation convexe : contributions, éléments de compréhension, et nouveaux résultats.
Résumé
In the current era marked by an unprecedented surge in available data and computational prowess, the field of machine learning, and more specifically deep learning, has witnessed an extraordinary evolution.Machine learning algorithms heavily rely on optimization techniques to tune their parameters and enhance predictive accuracy.Amidst the myriad of optimization approaches, the first-order optimization methods have emerged as stalwarts, demonstrating a remarkable balance between efficacy and computational efficiency.Crucially, the development of strong optimization theory is pivotal in unraveling the full potential of first-order optimization.Theoretical underpinnings not only deepen our understanding of optimization landscapes but also pave the way for the design of novel algorithms.The momentum-based algorithms have proven their mettle by significantly accelerating convergence in optimization problems.The conceptual foundation provided by optimization theory has enabled the formulation of momentum, turning theoretical insights into a powerful and widely adopted practical optimization tool.The role of this thesis is to pursue and accelerate the effort to develop a strong theoretical foundation of first-order optimization.We proved various results, exploiting the general structures of the certificate proofs.(i) We used the link between quadratic optimization and polynomial theory to explain empirically observed phenomena.(ii) We implemented a Python package to support the emph{Performance estimation} framework.(iii) We wrote a tutorial to explain how to derive natural proofs in optimization based on this framework.(iv) We applied this methodology, with the help of our python package, to derive a complete first-order optimization theory on a very large class of functions.(v) We complemented the theoretical emph{Performance estimation} framework to disprove the convergence of a specific family of methods and applied it to the famous Heavy-ball method to provably disprove an acceleration over the class of smooth and strongly convex functions.
À l'heure actuelle, caractérisée par une croissance sans précédent des données disponibles et des capacités computationnelles,le domaine de l'apprentissage automatique, et plus particulièrement de l'apprentissage profond, a connu une évolution exceptionnelle.Les algorithmes d'apprentissage automatique reposent largement sur des techniques d'optimisation pour ajuster leurs paramètres et améliorer leurs prédictions.Parmi les différentes approches d'optimisation, les méthodes du premier ordre ont émergé comme des fondements incontournables, démontrant un équilibre notable entre rapidité et précision.Il est aujourd'hui crucial de développer une théorie solide de l'optimisation du premier ordre pour en exploiter pleinement le potentiel.Ces fondements théoriques approfondissent notre compréhension des algorithmes d'optimisation actuels et ouvrent la voie à la création d'algorithmes innovants.L'efficacité démontrée du concept de momentum dans l'accélération significative de la convergence de problèmes réels témoigne de l'importance de la théorie de l'optimisation.Cette théorie a permis la formulation du momentum, transformant des intuitions théoriques en un outil d'optimisation pratique, largement adopté.Cette thèse vise à poursuivre et accélérer les efforts visant à développer une base théorique solide de l'optimisation du premier ordre.Nous avons présenté plusieurs résultats en exploitant les structures générales des certificats de preuves.(i) Le lien entre l'optimisation quadratique et la théorie des polynômes a été utilisé pour expliquer des phénomènes observés empiriquement.(ii) Un package Python a été mis en place pour faciliter l'utilisation du framework d'emph{estimation de performance}.(iii) Un tutoriel détaillé expliquant la dérivation de preuves naturelles en optimisation basée sur ce cadre a été rédigé.(iv) En utilisant notre package Python, nous avons appliqué cette méthodologie pour dériver une théorie complète de l'optimisation du premier ordre sur une vaste classe de fonctions.(v) Le framework théorique d'emph{estimation de performance} a été étendu pour réfuter la convergence d'une famille spécifique de méthodes, démontrant finalement la non-accélération de la célèbre méthode ``Heavy-ball'' sur la classe des fonctions lisses et fortement convexes.
| Origine | Version validée par le jury (STAR) |
|---|