Extrait du texte de présentation de la vidéo sur la chaîne YouTube Monsieur Phi :
[...] il y aurait sur les modèles de langage bien d'autres choses à dire qui touchent davantage à la philosophie, typiquement sur les questions éthiques, ou sur le rapport au langage et à l'intelligence. Mais le truc c'est que pour ne pas dire n'importe quoi quand on aborde ces sujets, c'est important déjà de bien comprendre de quoi on parle : que sont les modèles de langage et de quoi sont-ils vraiment capables ? Donc c'est surtout sur ce point que j'ai voulu insister dans cette vidéo parce qu'il me semble important de l'éclaircir pour éviter de tomber dans des fantasmes (typiquement des fantasmes sur la conscience des chatbots).
Points particuliers abordés dans la vidéo :
- Fonctionnement des gros modèles de langage (MML) de type GPT : « prédire le prochain mot d'un texte, ou plus précisément : à partir d'une séquence de mots, donner une distribution de probabilité de ce que pourrait être le prochain mot » (Monsieur Phi).
- Fonctionnement de base du « chatbot » ou « agent conversationnel » ChatGPT
- Test du Playground de OpenAI (modèle text-da-vinci 003)
- Test de ChatGPT (application du modèle à une simulation de chatbot)
- Fine-tuning du modèle GPT 3.5
- Fine-tuning de la simulation de chat ChatGPT : paramétrage induisant des biais mais également des limitations au risque d'anthropomorphisme, spécificité du système de chat (entraînement à prédire des textes sur le modèle d'un échange de questions / réponses), absence de fiabilité des textes générés (« hallucinations », « bullshit », génération de lignes de code ou de parties d'échecs, ...)
Référence bibliographique et accès à la vidéo : De quoi ChatGPT est-il VRAIMENT capable ? 2023 [cité 19 avr 2023]. Disponible sur: https://www.youtube.com/watch?v=R2fjRbc9Sa0
- Les modèles de langage ne génèrent ni ne prédisent pas de « mots » ni de « textes », simplement des « tokens », c'est à dire des suites d'un ou plusieurs caractères (lettres, chiffres, symboles ou espaces) choisis selon un calcul statistique puis assemblés de même pour simuler l'usage du langage humain. (1)
- La base des données d'entraînement de ChatGPT ne contient pas « tout Wikipedia », mais uniquement les textes convertis de la totalité des pages du domaine Wikipedia en anglais (2), donc à l'exception de l'ensemble des articles rédigés dans d'autres langues et appartenant à des éditions linguistiques distinctes du portail Wikipedia, publiées avant 2021 pour les versions de ChatGPT testées dans la vidéo (GPT 3 & 3.5).
Bibliographie sélective :
1.
Kumar M. Understanding Tokens in ChatGPT [Internet]. Medium. 2023 [cité 25 mai 2024]. Disponible sur: https://medium.com/@manav.kumar87/understanding-tokens-in-chatgpt-32845987858d
2. Brown TB, Mann B, Ryder N, Subbiah M, Kaplan J, Dhariwal P, et al. Language Models are Few-Shot Learners [Internet]. arXiv; 2020 [cité 25 mai 2024]. Disponible sur: http://arxiv.org/abs/2005.14165
Voir aussi
[Vidéo] Ce qui se cache derrière le fonctionnement de ChatGPT
[Vidéo] GPT-4 est-il incontrôlable ?