Extrait de la présentation de la vidéo sur la chaîne YouTube ScienceEtonnante :
Je vous explique les bases de ChatGPT, et comment il a été conçu à partir du modèle de langage GPT.
Vidéo écrite et réalisée par David Louapre © Science étonnante
Concepts abordés dans la vidéo :
- la distinction entre le modèle de langage "GPT" (Generative Pre-trained Transformer) et le service commercial "ChatGPT" (chatbot, ou agent conversationel), tous deux développés par la société OpenAI (sic)
- les phases d'apprentissage et d'utilisation du modèle GPT
- l'apprentissage automatique (machine learning), notamment supervisé ou auto-supervisé
- l'apprentissage avec renforcement par feedback humain
- le fonctionnement de base du modèle GPT : prolongement / prédiction de texte par calcul de probabilité
- les token
- les prompts et pre-prompts
- le fine-tuning (ou réglage fin)
- la distinction entre modèles de fondation / modèles "fine-tuné" / modèles de récompense
- la fenêtre de contexte des modèles de langage (ici pour GPT v3, v3.5 et v4)
- la spécialisation des modèles, notamment ici pour faire simuler une fonctionnalité de chatbot (ChatGPT) à un modèle de langage non-paramétré pour cet usage (GPT)
Référence bibliographique et accès à la vidéo : Ce qui se cache derrière le fonctionnement de ChatGPT. 2023 [cité 2 mai 2023]. Disponible sur: https://www.youtube.com/watch?v=7ell8KEbhJo
Connexe
Billet de blog complémentaire à la vidéo : Louapre D. Comment fonctionne ChatGPT ? [Internet]. Science étonnante. 2023 [cité 2 févr 2024]. Disponible sur: https://scienceetonnante.com/2023/04/14/comment-fonctionne-chatgpt/
Voir aussi
[Vidéo] Comment les I.A. font-elles pour comprendre notre langue ?