ChatGPT et l’indépendance en probabilités

Introduction

Note. Cet article a été rédigé par Claude (Anthropic), en s’inspirant du style et de la structure des 3 premiers articles qui avait été écrits « à la main ».

Quatrième volet de la série, après le problème du Tricheur, celui du dénombrement et celui des probabilités conditionnelles. Cette fois, c’est une question de démonstration qui passe au banc d’essai : prouver que les complémentaires de deux événements indépendants sont eux aussi indépendants.

Ce problème se distingue des trois précédents par sa nature même. Jusqu’ici, les questions posées à ChatGPT exigeaient un calcul numérique : dénombrer des cas favorables, appliquer le théorème de Bayes, combiner des probabilités. Ici, il n’y a rien à calculer. Il faut enchaîner des propriétés connues dans un ordre logique pour parvenir à une conclusion. C’est un exercice de raisonnement déductif, pas d’arithmétique.

Le verdict rejoint celui des deux articles précédents : ChatGPT parvient à une démonstration correcte dès 2025.

timeline
    title Modèles évalués
    2023 : GPT-3.5
         : Démonstration incorrecte
    2024 : GPT-4 (early)
         : Démonstration incorrecte
    2025 : GPT-4 (late)
         : Démonstration correcte

Évolution des modèles ChatGPT testés (2023–2025)

Le problème

Ce problème est lui aussi tiré de l’examen 1 du cours STT-1500 : Probabilités à l’hiver 2015.

Question 5

(a) Donnez la définition de deux événements indépendants.

(b) Soit $A$ et $B$ deux événements indépendants. Montrez que $A^c$ et $B^c$ sont aussi des événements indépendants. Justifiez chacune des étapes de votre démonstration. Vous pouvez appuyer votre raisonnement à l’aide de diagrammes de Venn.

Observation. Ce problème est une question de démonstration, pas de calcul. Il n’y a aucun nombre à manipuler : il faut enchaîner des propriétés algébriques des probabilités.

Réponse de l’enseignant

Partie (a) : Définition

Deux événements $A$ et $B$ sont dits indépendants si la probabilité de leur intersection est égale au produit de leurs probabilités :

\[ P(A \cap B) = P(A) \cdot P(B). \]

Partie (b) : Démonstration

Il nous faut montrer que $P(A^c \cap B^c) = P(A^c) \cdot P(B^c)$. Nous avons que

\[ \begin{aligned} P(A^c \cap B^c) &= P\bigl((A \cup B)^c\bigr) & &\text{(identité de De Morgan)} \\ &= 1 - P(A \cup B) & &\text{(propriété de complémentarité)} \\ &= 1 - \bigl(P(A) + P(B) - P(A \cap B)\bigr) & &\text{(identité de Poincaré)} \\ &= 1 - \bigl(P(A) + P(B) - P(A) \cdot P(B)\bigr) & &\text{($A$ et $B$ sont indépendants)} \\ &= 1 - P(A) - P(B)\bigl(1 - P(A)\bigr) \\ &= \bigl(1 - P(A)\bigr)\bigl(1 - P(B)\bigr) \\ &= P(A^c) \cdot P(B^c). & &\text{(propriété de complémentarité)} \end{aligned} \]

Observation structurante. La démonstration repose sur l’enchaînement de quatre propriétés : l’identité de De Morgan, la complémentarité, l’inclusion-exclusion (Poincaré) et la définition de l’indépendance. Chaque étape est classique; la difficulté réside dans leur agencement.

Évolution des réponses de ChatGPT

Partie (a) : La définition

Les trois versions de ChatGPT (2023, 2024, 2025) fournissent des définitions essentiellement correctes de l’indépendance : toutes mentionnent la condition $P(A \cap B) = P(A) \times P(B)$ et l’accompagnent d’une interprétation intuitive. GPT-4 (early) ajoute un exemple concret (le lancer de deux dés), et GPT-4 (late) soigne la formulation. Il n’y a pas grand-chose à diagnostiquer ici : la définition de l’indépendance est parmi les plus reproduites dans les manuels de probabilités, et les modèles de langage la restituent fidèlement dès 2023.

Réponse de GPT-3.5 (2023) — Partie (a)

En probabilités, deux événements sont dits indépendants si l’occurrence ou la non-occurrence de l’un des événements ne modifie pas la probabilité de l’autre événement.

Formellement, deux événements $A$ et $B$ sont considérés comme indépendants si et seulement si :

$P(A \cap B) = P(A) \times P(B)$

Cela signifie que la probabilité de l’intersection des événements $A$ et $B$ est égale au produit des probabilités individuelles de $A$ et de $B$. Autrement dit, si l’occurrence (ou la non-occurrence) de l’événement $A$ ne fournit aucune information sur la probabilité de l’événement $B$ et vice versa, alors les événements $A$ et $B$ sont indépendants.

Réponse de GPT-4 (early) (2024) — Partie (a)

En probabilités, deux événements A et B sont dits indépendants lorsque la réalisation de l’un de ces événements n’a pas d’influence sur la probabilité de réalisation de l’autre événement. Plus précisément, on dit que deux événements A et B sont indépendants si et seulement si la probabilité de l’intersection de ces deux événements ($P(A \cap B)$) est égale à la probabilité de chacun des événements ($P(A) \times P(B)$) :

$P(A \cap B) = P(A) \times P(B)$

Par exemple, lancer deux dés à 6 faces est un exemple d’événement indépendant, car le résultat obtenu sur un dé n’a pas d’influence sur le résultat obtenu sur l’autre dé.

Réponse de GPT-4 (late) (2025) — Partie (a)

En probabilités, deux événements sont dits indépendants si l’occurrence ou la non-occurrence de l’un des événements ne modifie pas la probabilité de l’autre événement.

Formellement, deux événements $A$ et $B$ sont considérés comme indépendants si et seulement si :

$P(A \cap B) = P(A) \times P(B)$

Cela signifie que la probabilité de l’intersection des événements $A$ et $B$ est égale au produit des probabilités individuelles de $A$ et de $B$.

Partie (b) : La démonstration

C’est ici que les choses deviennent intéressantes. Donner une définition est une chose; enchaîner des propriétés pour construire une démonstration en est une autre.

Réponse de GPT-3.5 (2023) — Partie (b)

Pour démontrer que le complémentaire de $A$ et le complémentaire de $B$ sont des événements indépendants si $A$ et $B$ sont indépendants, utilisons la définition d’événements indépendants et les propriétés des probabilités.

Premièrement, rappelons que si $A$ et $B$ sont indépendants, cela signifie que $P(A \cap B) = P(A) \times P(B)$.

Maintenant, démontrons que le complémentaire de $A$ et le complémentaire de $B$ sont indépendants :

Nous avons :

$A$ et $A^c$ (le complémentaire de $A$) forment l’univers, donc $A \cap A^c = \emptyset$, et $P(A \cap A^c) = 0$.
$B$ et $B^c$ (le complémentaire de $B$) forment l’univers, donc $B \cap B^c = \emptyset$, et $P(B \cap B^c) = 0$.

De plus, comme $A$ et $B$ sont indépendants, nous savons que $P(A \cap B) = P(A) \times P(B)$.

Diagnostic 2023. Accumulation de faits vrais mais sans plan de démonstration. Le modèle semble « réchauffer le moteur » sans jamais démarrer.

Analyse. La réponse de GPT-3.5 illustre un phénomène courant des premiers modèles de langage face aux questions de démonstration : l’accumulation de faits pertinents sans structure argumentative. Le modèle rappelle la définition de l’indépendance, puis affirme que $A \cap A^c = \emptyset$ et que $B \cap B^c = \emptyset$ — deux propriétés parfaitement vraies, mais sans rapport direct avec la démonstration demandée. On ne voit ni l’identité de De Morgan, ni l’inclusion-exclusion, ni aucune manipulation algébrique menant à $P(A^c \cap B^c) = P(A^c) \cdot P(B^c)$. Le modèle énumère des ingrédients sans recette.

Réponse de GPT-4 (early) (2024) — Partie (b)

Soit $A$ et $B$ deux événements indépendants. Leur complémentaire sont respectivement $A'$ et $B'$.

Pour montrer que $A'$ et $B'$ sont des événements indépendants, nous devons démontrer que : $P(A' \cap B') = P(A') \times P(B')$

On sait que : $P(A \cap B) = P(A) \times P(B)$ ($A$ et $B$ sont indépendants) $P(A) = P(A \cap B) + P(A \cap B')$ $P(B) = P(A \cap B) + P(B \cap A')$

On utilise ces relations pour écrire : $P(A') = P(A \cap B') + P(A \cap B)$ $P(B') = P(B \cap A') + P(A \cap B)$

On remplace ces relations dans l’expression ci-dessus pour avoir : $P(A' \cap B') = P(A \cap B') + P(A \cap B) \times P(B \cap A') + P(A \cap B) = P(A') \times P(B')$

On peut donc en conclure que $A'$ et $B'$ sont des événements indépendants.

Il est important de noter que cette démonstration repose sur le fait que $A$ et $B$ sont des événements indépendants, et utilise les propriétés de base de la probabilité pour arriver à la conclusion désirée.

Diagnostic 2024. Structure correcte, mais confusion entre $A$ et $A^c$ dans les décompositions, suivie d’une manipulation algébrique incohérente.

Analyse. GPT-4 (early) progresse sur un point important : il identifie correctement l’objectif ($P(A' \cap B') = P(A') \times P(B')$) et tente une approche par décomposition des probabilités. Les deux premières relations sont correctes : $P(A) = P(A \cap B) + P(A \cap B')$ et $P(B) = P(A \cap B) + P(B \cap A')$ sont des applications de la loi des probabilités totales, partitionnant respectivement sur $B$ et sur $A$.

L’erreur survient à l’étape suivante. Le modèle écrit $P(A') = P(A \cap B') + P(A \cap B)$, or le membre de droite vaut $P(A)$, pas $P(A')$. Il confond l’événement avec son complémentaire. Une décomposition correcte serait $P(A') = P(A' \cap B) + P(A' \cap B')$. La même confusion affecte la ligne suivante pour $P(B')$.

Quant à la dernière ligne — $P(A' \cap B') = P(A \cap B') + P(A \cap B) \times P(B \cap A') + P(A \cap B) = P(A') \times P(B')$ — elle ne correspond à aucune identité algébrique connue. Le modèle « sait » où il veut atterrir et force la conclusion, un comportement typique des modèles de langage qui optimisent la vraisemblance du texte plutôt que la validité du raisonnement.

Réponse de GPT-4 (late) (2025) — Partie (b)

Maintenant, examinons l’indépendance des complémentaires :

$P(A^c \cap B^c) = 1 - P(A \cup B)$

(par la loi de complémentarité)

$P(A^c \cap B^c) = 1 - (P(A) + P(B) - P(A \cap B))$

(par la formule d’inclusion-exclusion)

$P(A^c \cap B^c) = 1 - (P(A) + P(B) - P(A) \times P(B))$

(car $A$ et $B$ sont indépendants)

$P(A^c \cap B^c) = 1 - P(A) - P(B) + P(A) \times P(B)$

Maintenant, montrons que $P(A^c) \times P(B^c) = P(A^c \cap B^c)$ :

$P(A^c) \times P(B^c) = (1 - P(A)) \times (1 - P(B)) = 1 - P(A) - P(B) + P(A) \times P(B)$

Ainsi, nous avons montré que $P(A^c \cap B^c) = P(A^c) \times P(B^c)$, ce qui démontre que le complémentaire de $A$ et le complémentaire de $B$ sont également des événements indépendants si $A$ et $B$ sont indépendants.

Diagnostic 2025. Démonstration complète, correcte et bien justifiée à chaque étape.

Analyse. GPT-4 (late) produit une démonstration essentiellement identique à celle de l’enseignant. La première égalité, $P(A^c \cap B^c) = 1 - P(A \cup B)$, repose implicitement sur l’identité de De Morgan ($A^c \cap B^c = (A \cup B)^c$) et la propriété de complémentarité, bien que le modèle ne nomme pas explicitement De Morgan. Le reste de la chaîne — inclusion-exclusion, substitution par l’hypothèse d’indépendance, puis comparaison avec le produit $P(A^c) \cdot P(B^c)$ — est impeccable.

On notera que la structure de la démonstration est la plus naturelle : calculer $P(A^c \cap B^c)$ d’un côté, $P(A^c) \cdot P(B^c)$ de l’autre, et constater l’égalité. C’est exactement l’approche en deux volets utilisée dans la solution de l’enseignant. GPT-4 (late) ne cherche pas de raccourci ni de voie détournée; il déroule le plan le plus direct.

Conclusion

Ce problème d’indépendance des complémentaires occupe une place à part dans cette série d’analyses. C’est la première question de démonstration que nous soumettons à ChatGPT — et cela change la nature du défi. Les trois problèmes précédents (le Tricheur, les bouteilles de vin, le théorème de Bayes) exigeaient tous un calcul numérique, avec des pièges liés à la modélisation ou à l’interprétation de l’énoncé. Ici, il n’y a aucun nombre : la difficulté réside entièrement dans l’enchaînement logique de propriétés connues.

L’évolution observée est révélatrice. En 2023, GPT-3.5 accumule des faits vrais mais déconnectés, incapable de les organiser en argument cohérent. En 2024, GPT-4 (early) structure mieux sa tentative — il identifie l’objectif et mobilise les bons outils — mais confond $A$ avec $A^c$ dans une étape clé et force la conclusion par une manipulation algébrique sans fondement. En 2025, GPT-4 (late) déroule une démonstration propre, chaque étape justifiée par la propriété invoquée.

Contrairement au problème du Tricheur, qui nécessitait un changement de point de vue conceptuel (reconnaître que « au moins une fois » implique « exactement une fois »), cette démonstration ne contient aucun piège. Elle repose sur l’enchaînement de propriétés standard — De Morgan, inclusion-exclusion, complémentarité — dans l’ordre le plus naturel. C’est précisément le type de tâche que les modèles de langage maîtrisent le mieux : reconnaître un patron classique et dérouler la procédure associée.

Mais la progression de 2023 à 2025 montre que même cette capacité n’était pas acquise d’emblée. Savoir énoncer une propriété (comme la loi de complémentarité) et savoir l’utiliser au bon moment dans une chaîne déductive sont deux compétences distinctes — et c’est cette seconde compétence qui a mis du temps à émerger.