Théorème (loi faible des grands nombres). Soit (Xn)n≥1 une suite de variables aléatoires réelles discrètes, indépendantes, de même loi, admettant une variance. On note m leur espérance, σ2 leur variance et Sn=X1+⋯+Xn. Alors, pour tout ε>0,
P(nSn−m≥ε)≤nε2σ2n→+∞0.
Idée
La moyenne nSn a pour espérance m et pour variance nσ2, qui tend vers 0 : elle se concentre autour de m. L'inégalité de Bienaymé-Tchebychev traduit cette concentration en probabilité.
Démonstration
Inégalité de Markov. Si Y est une variable aléatoire positive d'espérance finie et a>0, alors P(Y≥a)≤aE(Y). En effet, a1{Y≥a}≤Y (si Y≥a, le membre de gauche vaut a≤Y ; sinon il vaut 0≤Y). Par croissance de l'espérance, aP(Y≥a)=E(a1{Y≥a})≤E(Y).
Inégalité de Bienaymé-Tchebychev. Si Z admet une variance et ε>0, alors P(∣Z−E(Z)∣≥ε)≤ε2V(Z). On applique l'inégalité de Markov à Y=(Z−E(Z))2, positive d'espérance V(Z), avec a=ε2, en remarquant que ∣Z−E(Z)∣≥ε⟺Y≥ε2.
Espérance et variance de la moyenne. Par linéarité, E(Sn)=∑i=1nE(Xi)=nm, donc E(nSn)=m. Les Xi étant indépendantes, elles sont deux à deux décorrélées (Cov(Xi,Xj)=0 pour i=j), donc
Conclusion. L'inégalité de Bienaymé-Tchebychev appliquée à Z=nSn donne exactement l'inégalité annoncée, et son majorant tend vers 0.
Remarques
Interprétation fréquentiste. Si Xi=1Ai indique le succès de la i-ième répétition indépendante d'une expérience de probabilité de succès p, alors nSn est la fréquence de succès, m=p et σ2=p(1−p)≤41 :P(nSn−p≥ε)≤4nε21. Pour garantir une erreur d'au plus 0,01 avec probabilité au moins 0,95, il suffit de n=50000 répétitions.
Hypothèses. La preuve n'utilise que la décorrélation deux à deux, et des variances bornées suffiraient au lieu d'une loi commune. La loi forte des grands nombres (convergence presque sûre de nSn vers m) est hors programme.