finished intro to gen ai and llms

hepia_2024/Makefile

+DATADIR      = ./
+FILTERDIR    = $(DATADIR)/filters
+RESOURCEDIR  = $(DATADIR)/resources
+
+PDFOPTIONS = -t beamer
+PDFOPTIONS += --pdf-engine pdflatex
+# PDFOPTIONS += --template=./default.latex
+PDFOPTIONS += -V theme:metropolis
+PDFOPTIONS += -V themeoptions:numbering=none -V themeoptions:progressbar=foot
+PDFOPTIONS += -V fontsize=smaller
+# PDFOPTIONS += --filter  pandoc-beamer-block
+# PDFOPTIONS += --lua-filter=${FILTERDIR}/tex.lua
+# PDFOPTIONS += --include-in-header=${RESOURCEDIR}/definitions.tex
+# PDFOPTIONS += --include-in-header=${RESOURCEDIR}/beamer.tex
+PDFOPTIONS += $(OPTIONS)
+
+all: pres.pdf
+
+pres.pdf: pres.md
+	pandoc $(PDFOPTIONS) -o $@ $^
+
+clean:
+	rm -f *.pdf index.html

hepia_2024/pres.md

+% Intelligence artificielle et enseignement
+% Orestis Malaspinas et Marc Gay-Balmaz
+% Hepia, 03.06.2024
+
+# Qu'est-ce que l'IA 
+
+* Ensemble de techniques visant à simuler l'intelligence humaine:
+    * Moteurs de recherche,
+    * Voitures autonomes,
+    * Compréhension du langage naturel,
+    * Chatbots,
+    * Génération d'images, ...
+
+. . .
+
+* On se limite aux IA **génératives** et en particuliers aux "Large Language Models" (LLMs).
+
+# Que sont les IA générative et les LLMs
+
+* LLM: Un modèle de langage qui permet de générer du texte et d'effectuer des tâches comme la classification. (*Wikipedia*)
+* IA générative: intelligence artificielle capable de générer un contenu ne se trouvant pas dans son ensemble d'entraînement. (*Wikipedia aussi*)
+
+# Fonctionnement des LLMs (1/5)
+
+## Problème de base à résoudre
+
+* Soit une suite de mots donnée (prompt):
+
+. . .
+
+*Orestis donne une présentation sur*
+
+* Trouver le mot suivant le plus probable:
+
+. . .
+
+*Orestis donne une présentation sur l'intelligence*
+
+* Puis le mot suivant:
+
+. . .
+
+*Orestis donne un cours sur l'intelligence artificielle.*
+
+* Et ainsi de suite.
+
+
+# Fonctionnement des LLMs (2/5)
+
+## Contraintes sur la suite de mots
+
+* La suite de mots dépend:
+    * Des mots qui précèdent directement,
+    * Du contexte général,
+
+. . .
+
+* Doivent aussi être corrects sytaxiquement, orthographiquement, et grammaticalement.
+
+. . .
+
+* Problème complexe à **formaliser** et donc à **implémenter** informatiquement.
+
+# Fonctionnement des LLMs (3/5)
+
+## Solution pour les LLMs actuels (GPT-etc)
+
+0. On donne un "pré-prompt": phrases qui donnent un contexte.
+1. On décompose le prompt en "tokens" (mots):
+    * Orestis - nom propre
+    * donne - verbe
+    * une - pronom indéfini
+    * présentation - nom
+    * sur - préposition
+2. Un réseau de neurones prédit le mot suivant le plus *probable*.
+3. Mesures de protection pour empêcher les fuites dedonnées (pas à proprement parlé dans les LLMs)
+
+. . .
+
+* Comment trouver les paramètres?
+
+# Fonctionnement des LLMs (4/5)
+
+## Fixer les paramètres
+
+* On *entraîne* le réseau de neurones sur des gigantesques ensembles de données (Wikipedia, Github, etc.):
+    * Nécessaire pour l'apprentissage des patterns (formes).
+    * Donne des résultats impressionants: complexes et élégants.
+
+. . .
+
+* Problématiques:
+    * Impossible de vérifier la qualité de tout l'ensemble d'entraînement.
+    * Impossible d'empêcher les biais.
+    * Vulnérable aux attaques "byzantines".
+    * Sécurité très faible.
+    * Droits d'auteurs?
+
+# Fonctionnement de LLMs (5/5)
+
+## Quelques chiffres
+
+* Dalle-2: $3.5\cdot 10^{9}$ paramètres
+* Gemini: $1.6\cdot 10^{12}$ paramètres
+* GPT-4: $1.7\cdot 10^{12}$ paramètres
+
+