diff --git a/hepia_2024/Makefile b/hepia_2024/Makefile new file mode 100644 index 0000000000000000000000000000000000000000..6ecc40c6620ba8f0cd63af08296a07267752724e --- /dev/null +++ b/hepia_2024/Makefile @@ -0,0 +1,23 @@ +DATADIR = ./ +FILTERDIR = $(DATADIR)/filters +RESOURCEDIR = $(DATADIR)/resources + +PDFOPTIONS = -t beamer +PDFOPTIONS += --pdf-engine pdflatex +# PDFOPTIONS += --template=./default.latex +PDFOPTIONS += -V theme:metropolis +PDFOPTIONS += -V themeoptions:numbering=none -V themeoptions:progressbar=foot +PDFOPTIONS += -V fontsize=smaller +# PDFOPTIONS += --filter pandoc-beamer-block +# PDFOPTIONS += --lua-filter=${FILTERDIR}/tex.lua +# PDFOPTIONS += --include-in-header=${RESOURCEDIR}/definitions.tex +# PDFOPTIONS += --include-in-header=${RESOURCEDIR}/beamer.tex +PDFOPTIONS += $(OPTIONS) + +all: pres.pdf + +pres.pdf: pres.md + pandoc $(PDFOPTIONS) -o $@ $^ + +clean: + rm -f *.pdf index.html diff --git a/hepia_2024/pres.md b/hepia_2024/pres.md new file mode 100644 index 0000000000000000000000000000000000000000..94c118cd9e3ed6d344906f3587cf5088ce99e344 --- /dev/null +++ b/hepia_2024/pres.md @@ -0,0 +1,107 @@ +% Intelligence artificielle et enseignement +% Orestis Malaspinas et Marc Gay-Balmaz +% Hepia, 03.06.2024 + +# Qu'est-ce que l'IA + +* Ensemble de techniques visant à simuler l'intelligence humaine: + * Moteurs de recherche, + * Voitures autonomes, + * Compréhension du langage naturel, + * Chatbots, + * Génération d'images, ... + +. . . + +* On se limite aux IA **génératives** et en particuliers aux "Large Language Models" (LLMs). + +# Que sont les IA générative et les LLMs + +* LLM: Un modèle de langage qui permet de générer du texte et d'effectuer des tâches comme la classification. (*Wikipedia*) +* IA générative: intelligence artificielle capable de générer un contenu ne se trouvant pas dans son ensemble d'entraînement. (*Wikipedia aussi*) + +# Fonctionnement des LLMs (1/5) + +## Problème de base à résoudre + +* Soit une suite de mots donnée (prompt): + +. . . + +*Orestis donne une présentation sur* + +* Trouver le mot suivant le plus probable: + +. . . + +*Orestis donne une présentation sur l'intelligence* + +* Puis le mot suivant: + +. . . + +*Orestis donne un cours sur l'intelligence artificielle.* + +* Et ainsi de suite. + + +# Fonctionnement des LLMs (2/5) + +## Contraintes sur la suite de mots + +* La suite de mots dépend: + * Des mots qui précèdent directement, + * Du contexte général, + +. . . + +* Doivent aussi être corrects sytaxiquement, orthographiquement, et grammaticalement. + +. . . + +* Problème complexe à **formaliser** et donc à **implémenter** informatiquement. + +# Fonctionnement des LLMs (3/5) + +## Solution pour les LLMs actuels (GPT-etc) + +0. On donne un "pré-prompt": phrases qui donnent un contexte. +1. On décompose le prompt en "tokens" (mots): + * Orestis - nom propre + * donne - verbe + * une - pronom indéfini + * présentation - nom + * sur - préposition +2. Un réseau de neurones prédit le mot suivant le plus *probable*. +3. Mesures de protection pour empêcher les fuites dedonnées (pas à proprement parlé dans les LLMs) + +. . . + +* Comment trouver les paramètres? + +# Fonctionnement des LLMs (4/5) + +## Fixer les paramètres + +* On *entraîne* le réseau de neurones sur des gigantesques ensembles de données (Wikipedia, Github, etc.): + * Nécessaire pour l'apprentissage des patterns (formes). + * Donne des résultats impressionants: complexes et élégants. + +. . . + +* Problématiques: + * Impossible de vérifier la qualité de tout l'ensemble d'entraînement. + * Impossible d'empêcher les biais. + * Vulnérable aux attaques "byzantines". + * Sécurité très faible. + * Droits d'auteurs? + +# Fonctionnement de LLMs (5/5) + +## Quelques chiffres + +* Dalle-2: $3.5\cdot 10^{9}$ paramètres +* Gemini: $1.6\cdot 10^{12}$ paramètres +* GPT-4: $1.7\cdot 10^{12}$ paramètres + +