C4P GDR Webinar: LLMs Architecture, Inference & Training

Un grand modèle de langue n'est qu'une fonction qui prédit le token suivant : du calcul sur des vecteurs, empilé en blocs d'attention et de réseaux feed-forward le long d'un flux résiduel. Cet exposé montre comment le texte devient vecteurs, ce que ces représentations encodent, et ce qui se passe couche après couche en s'appuyant sur les activations réelles d'un modèle. Il montre ensuite pourquoi l'inférence est avant tout limitée par la mémoire et non par le calcul, et quels leviers se cumulent pour aller plus vite : KV cache, Flash Attention, quantization, speculative decoding, batching continu, Mixture of Experts. Il conclut côté entraînement, sur les techniques qui le rendent accessible avec peu de GPU : parallélisme mémoire (FSDP/ZeRO) et affinage léger (LoRA / QLoRA).