Eclats de vers : Matemat : Statistiques

On dit que les variables aléatoires \(X_1\), \(X_2\), …, \(X_N\) sont indépendantes si :

\[\esperof{\prod_i X_i} = \prod_i \esperof{X_i}\]

On en déduit que :

\[\cov{X_i}{X_j} = \var{X_i} \ \indicatrice_{ij}\]

et donc :

\[\var{\sum_i X_i} = \sum_i \var{X_i}\]

Nous nous intéressons dans la suite de ce chapitre à des échantillons de \(N\) variables aléatoires indépendantes \(X_1,...,X_N\) telles que :

Soit une variable aléatoire \(X\). On définit la variable associée :

Comme :

\[Y \le (X-b)^2\]

on a \(\esperof{Y} \le \esperof{(X-b)^2}\). D'un autre coté :

\[\esperof{Y} = a^2 \ \probaof{\abs{X-b} \ge a}\]

Rassemblant ces deux résultats, on obtient la propriété :

\[\probaof{\abs{X-b} \ge a} \le \unsur{a^2} \ \esperof{(X-b)^2}\]

connue sous le nom d'inégalité de Markov.

Le cas particulier \(b = \esperof{X}\) nous donne :

\[\probaof{\abs{X-\esperof{X}} \ge a} \le \unsur{a^2} \ \var{X}\]

Soit la moyenne :

\[M_N = \unsur{N} \sum_{i=1}^N X_i\]

On a :

\[\esperof{M_N} = \unsur{N} \ N \ \mu = \mu\]

L'indépendance entre les variables nous amène à :

\begin{align} \var{M_N} &= \unsur{N^2} \var{\sum_i X_i} \) \( &= \unsur{N^2} \sum_i \var{X_i} \) \( &= \unsur{N^2} \ N \ \sigma^2 \end{align}

et donc :

\[\var{M_N} = \frac{\sigma^2}{N}\]

Soit \(a > 0\). L'inégalité de Markov nous dit que :

\[\probaof{\abs{M_N - \mu} \ge a} \le \frac{\sigma^2}{a^2 N}\]

Soit à présent \(\epsilon > 0\). Si on veut :

\[\probaof{\abs{M_N - \mu} \ge a} \le \frac{\sigma^2}{a^2 N} \strictinferieur \epsilon\]

il suffit de choisir :

\[N > \frac{\sigma^2}{a^2 \epsilon}\]

On en conclut que :

\[\lim_{N \to +\infty} \probaof{M_N = \mu} = 1\]

Appliquons la loi des grands nombres à la fonction indicatrice \(\indicatrice_A\). On a alors \(X_i = 1\) lorsque \(\omega \in A\) et \(X_i = 0\) lorsque \(\omega \notin A\). La moyenne s'écrit donc :

\[M_N = \frac{n(A)}{N}\]

où \(n(A)\) est le nombre de \(X_i\) valant 1, autrement dit le nombre d'événements \(\omega\) appartenant à \(A\). Comme :

\[\mu = \esperof{\indicatrice_A} = \probaof{A}\]

on en déduit que la fréquence \(n(A) / N\) converge vers la probabilité de \(A\) :

\[\lim_{N \to +\infty} \probaof{\frac{n(A)}{N} = \probaof{A}} = 1\]

Soit une fonction \(G : \setR^n \mapsto \setR\) :

\[G : (X_1,...,X_N) \mapsto G(X_1,...,X_N)\]

On dit que \(\hat{G} : \setR^n \mapsto \setR\) est un estimateur non biaisé de \(G\) si :

\[\esperof{\hat{G}} = \esperof{G}\]

Soit :

\[M_N(X_1,...,X_N) = \unsur{N} \sum_{i=1}^N X_i\]

La loi des grands nombres nous dit que :

\[\esperof{M_N} = \mu\]

La moyenne \(M_N\) est donc un estimateur non biaisé de l'espérance \(\mu\).

Soit les variables à espérances nulles :

On obtient directement :

\[M_N^* = \unsur{N} \sum_i X_i^*\]

On voit également que :

\[X_i - M_N = X_i - \mu + \mu - M_N = X_i^* - M_N^*\]

Donc :

\[\esperof{\sum_i (X_i - M_N)^2} = \esperof{\sum_i \left( X_i^* - M_N^* \right)^2}\]

En développant, on obtient successivement :

\begin{align} \esperof{\sum_i (X_i - M_N)^2} &= \esperof{ \sum_i \left( X_i^* \right)^2 } - 2 \ \esperof{M_N^* \sum_i X_i^*} + \esperof{ \left( M_N^* \right)^2 } \) \( &= \sum_i \esperof{ \left( X_i^* \right)^2 } - 2 \ N \ \esperof{ \left( M_N^* \right)^2 } + \esperof{ \left( M_N^* \right)^2 } \end{align}

Mais comme :

l'expression devient :

\[\esperof{\sum_i (X_i - M_N)^2} = (N - 2 + 1) \ \sigma^2 = (N-1) \ \sigma^2\]

On en conclut que :

\[S^2 = \unsur{N-1} \sum_{i=1}^{N} (X_i - M_N)^2\]

est un estimateur non biaisé de la variance :

\[\esperof{S^2} = \sigma^2\]

Il s'agit de trouver les paramètres \(\hat{\theta}\) (espérance, variance, …) qui maximisent la vraisemblance :

\[V(\hat{\theta}) = \prod_i \probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} }\]

Notons que cela revient à maximiser :

\[\ln\prod_{i=1}^N \probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} } = \sum_{i=1}^N \ln\probaof{ \{\omega : X_i(\omega) = x_i \} | \theta = \hat{\theta} }\]

ce qui est souvent plus facile.

En pratique, lorsque la fonction de densité \(f_\theta\) est connue, on maximise :

\[\phi(\theta) = \sum_i \ln f_\theta(x_i)\]

en imposant :

\[\deriveepartielle{\phi}{\theta}(\hat{\theta}) = 0\]

Il s'agit d'un algorithme permettant de générer \(N\) nombres aléatoires :

\[\{ x_1, ..., x_N \}\]

suivant la densité \(f\). Soit \(\epsilon \ge 0\) une erreur maximale et \([a,b]\) tel que :

\[\int_a^b f(x) \ dx = 1 - \epsilon\]

Soit :

\[M = \sup_{x \in [a,b]} f(x)\]

et la génératrice :

\[\rand(a,b)\]

qui renvoie des variables aléatoires de densité uniforme sur \([a,b]\).

On part de \(A_0 = \emptyset\). A chaque itération, on génére deux nombres de densités uniformes :

Afin de modifier cette densité, on n'ajoute \(x\) à la liste déjà obtenue :

\[A_i = A_{i-1} \cup \{ x \}\]

que si \(y < f(x)\). Autrement, on ne fait rien et on passe à l'itération suivante.

La comparaison de \(y\) et de \(f(x)\) sert donc de filtre à l'algorithme.