Aujourd’hui, les médias et le grand public s’émerveillent des prouesses de ChatGPT et d'autres modèles de TAL (DeepL, Dall·E, …). Il n’y a en effet aucun doute qu’en l’espace de quelques années, les ordinateurs sont devenus capables de parler, atteignant ainsi l'un des objectifs fondamentaux de l’Intelligence Artificielle qui semblait pourtant longtemps hors de portée. Cette révolution a été rendue possible grâce à des changements radicaux dans la manière d’aborder les questions liées à la modélisation et à la manipulation de la langue par les ordinateurs, ainsi qu'à la découverte de deux ingrédients essentiels : une architecture neuronale, les transformeurs, et un nouveau paradigme d’apprentissage, l’auto-supervision, qui, utilisé conjointement ont permis aux ordinateurs de découvrir, sans aucune intervention humaine, des représentations des mots et des phrases particulièrement puissantes.
Dans cette présentation, nous détaillerons le fonctionnement de ces deux ingrédients au cœur de la révolution de l’IA générative. Nous
présenterons plusieurs expériences mettant en évidence comment leur utilisation permet de faire émerger des capacités surprenantes dans les modèles, notamment la possibilité pour les ordinateurs de réaliser des actions pour lesquelles ils n’ont pas été explicitement programmés. Nous décrirons également les nouvelles problématiques scientifiques soulevées par ces modèles et esquisserons de premiers éléments de réponse.
