Aller au contenu
XiMaths

Loi faible des grands nombres

Au programme de prépa · niveau MP, MPI, L2

Énoncé

Théorème (loi faible des grands nombres). Soit (Xn)n≥1(X_n)_{n \geq 1} une suite de variables aléatoires réelles discrètes, indépendantes, de même loi, admettant une variance. On note mm leur espérance, σ2\sigma^2 leur variance et Sn=X1+⋯+XnS_n = X_1 + \dots + X_n. Alors, pour tout ε>0\varepsilon > 0,

P(∣Snn−m∣≥ε)≤σ2nε2→n→+∞0.P\left( \left| \frac{S_n}{n} - m \right| \geq \varepsilon \right) \leq \frac{\sigma^2}{n \varepsilon^2} \xrightarrow[n \to +\infty]{} 0.

Idée

La moyenne Snn\frac{S_n}{n} a pour espérance mm et pour variance σ2n\frac{\sigma^2}{n}, qui tend vers 00 : elle se concentre autour de mm. L'inégalité de Bienaymé-Tchebychev traduit cette concentration en probabilité.

Démonstration

Inégalité de Markov. Si YY est une variable aléatoire positive d'espérance finie et a>0a > 0, alors P(Y≥a)≤E(Y)aP(Y \geq a) \leq \frac{E(Y)}{a}. En effet, a1{Y≥a}≤Ya \mathbf{1}_{\{Y \geq a\}} \leq Y (si Y≥aY \geq a, le membre de gauche vaut a≤Ya \leq Y ; sinon il vaut 0≤Y0 \leq Y). Par croissance de l'espérance, aP(Y≥a)=E(a1{Y≥a})≤E(Y)a P(Y \geq a) = E\left( a \mathbf{1}_{\{Y \geq a\}} \right) \leq E(Y).

Inégalité de Bienaymé-Tchebychev. Si ZZ admet une variance et ε>0\varepsilon > 0, alors P(∣Z−E(Z)∣≥ε)≤V(Z)ε2P\big( |Z - E(Z)| \geq \varepsilon \big) \leq \frac{V(Z)}{\varepsilon^2}. On applique l'inégalité de Markov à Y=(Z−E(Z))2Y = \big( Z - E(Z) \big)^2, positive d'espérance V(Z)V(Z), avec a=ε2a = \varepsilon^2, en remarquant que ∣Z−E(Z)∣≥ε  ⟺  Y≥ε2|Z - E(Z)| \geq \varepsilon \iff Y \geq \varepsilon^2.

Espérance et variance de la moyenne. Par linéarité, E(Sn)=∑i=1nE(Xi)=nmE(S_n) = \sum_{i=1}^{n} E(X_i) = nm, donc E(Snn)=mE\left( \frac{S_n}{n} \right) = m. Les XiX_i étant indépendantes, elles sont deux à deux décorrélées (Cov⁡(Xi,Xj)=0\operatorname{Cov}(X_i, X_j) = 0 pour i≠ji \neq j), donc

V(Sn)=∑i=1nV(Xi)+2∑1≤i<j≤nCov⁡(Xi,Xj)=nσ2,V(Snn)=1n2V(Sn)=σ2n.V(S_n) = \sum_{i=1}^{n} V(X_i) + 2 \sum_{1 \leq i < j \leq n} \operatorname{Cov}(X_i, X_j) = n\sigma^2, \qquad V\left( \frac{S_n}{n} \right) = \frac{1}{n^2} V(S_n) = \frac{\sigma^2}{n}.

Conclusion. L'inégalité de Bienaymé-Tchebychev appliquée à Z=SnnZ = \frac{S_n}{n} donne exactement l'inégalité annoncée, et son majorant tend vers 00.

Remarques

  • Interprétation fréquentiste. Si Xi=1AiX_i = \mathbf{1}_{A_i} indique le succès de la ii-ième répétition indépendante d'une expérience de probabilité de succès pp, alors Snn\frac{S_n}{n} est la fréquence de succès, m=pm = p et σ2=p(1−p)≤14\sigma^2 = p(1 - p) \leq \frac{1}{4} : P(∣Snn−p∣≥ε)≤14nε2P\left( \left| \frac{S_n}{n} - p \right| \geq \varepsilon \right) \leq \frac{1}{4n\varepsilon^2}. Pour garantir une erreur d'au plus 0,010{,}01 avec probabilité au moins 0,950{,}95, il suffit de n=50 000n = 50\,000 répétitions.
  • Hypothèses. La preuve n'utilise que la décorrélation deux à deux, et des variances bornées suffiraient au lieu d'une loi commune. La loi forte des grands nombres (convergence presque sûre de Snn\frac{S_n}{n} vers mm) est hors programme.