2. Crash test (les hallucinations)

Buts

• Evaluer la qualité des textes générés par ChatGPT
• Repérer les éventuelles "hallucinations"

Outils testés

ChatGPT, Deepseek

Déroulement de la leçon

1. Pendant les 10 premières minutes, entamez un "dialogue" avec ChatGPT sur un sujet que vous connaissez bien (un sujet où vous pensez en savoir plus que ChatGPT) et évaluez ses réponses :
   
   
   • Qu'est-ce qui est juste ?
   • Qu'est-ce qui est faux ?
   • Avez-vous l'impression que ChatGPT maîtrise le sujet, ou est-ce qu'il baratine ?
   • Quelles sont ses sources ?
   • Avez-vous appris quelque chose de nouveau ?
   • Etes-vous impressionné(e) ?
     
     
2. ChatGPT est-il "bridé" ? Par exemple, que se passe-t-il si vous lui demandez de donner des arguments pour démontrer que le dérèglement climatique est un fake ?
   
   
3. Ecrivez dans Deepseek (LLM chinois) "Manifestations de la place Tian'anmen". Ecrivez la même chose dans ChatGPT. Etonnant, non ?
   
   
4. Que se passe-t-il quand on l'interroge sur quelque chose qui n'existe pas ? Par exemple, "Qu'est-ce que le moyen théorème de Fermat ?"
   
   
5. Bilan

Pour aller plus loin

• On ne peut pas empêcher les hallucinations de l’IA ! Mais ces astuces peuvent les réduire, par Nirina R. sur lebigdata.fr
• L'IA fait du SALE sur ses propres recherches, Defakator, juin 2025
• 45 % d’erreurs sur l’actualité pour ChatGPT & Co, Sylvain Montmory, 2025
• L’IA m’a informé pendant un mois. Elle ne s’en est pas toujours tenue aux faits, Jean-Hugues Roy, 2025
• Jérémy Ferrari demande à ChatGPT de faire son autoportrait, mai 2023

Exemples

Réponse générée par ChatGPT-3 le 26 décembre 2022	Réponse générée par ChatGPT-3 le 24 décembre 2022