Variables aléatoires sur un univers fini

On a $P_X(X(\Omega))=P(X\in X(\Omega))=P(\Omega)=1$.

Si $A$ et $B$ sont deux parties disjointes de $X(\Omega)$, les événements $(X\in A)$ et $(X\in B)$ sont incompatibles (un $\omega$ ne peut avoir son image à la fois dans $A$ et dans $B$) et $(X\in A\cup B)=(X\in A)\cup(X\in B)$. Donc $$P_X(A\cup B)=P(X\in A)+P(X\in B)=P_X(A)+P_X(B).$$ Ainsi $P_X$ est une probabilité sur $X(\Omega)$.

Soit $k\in[\![0,n]\!]$. L'événement $(X=k)$ signifie que l'ensemble $I$ des indices des épreuves réussies a exactement $k$ éléments : $$(X=k)=\bigcup_{\substack{I\subset[\![1,n]\!]\\|I|=k}}B_I,\qquad B_I=\bigcap_{i\in I}A_i\cap\bigcap_{i\notin I}\overline{A_i}.$$ Les $B_I$ sont deux à deux incompatibles : si $I\neq J$, un indice appartient à l'un et pas à l'autre, et l'épreuve correspondante ne peut être à la fois un succès et un échec.

Les $A_i$ étant mutuellement indépendants, la famille obtenue en remplaçant certains $A_i$ par leurs contraires l'est aussi, donc $P(B_I)=p^k(1-p)^{n-k}$.

Il y a $\binom nk$ parties $I$ à $k$ éléments, d'où $P(X=k)=\binom nk p^k(1-p)^{n-k}$.

Les événements $(Y=y)$, $y\in Y(\Omega)$, forment un système complet. La formule des probabilités totales (version sans conditionnement) donne $P(X=x)=\sum_{y}P\big((X=x)\cap(Y=y)\big)$. Même raisonnement pour $Y$.

Le sens réciproque s'obtient avec $A=\{x\}$, $B=\{y\}$.

Sens direct : quitte à remplacer $A$ par $A\cap X(\Omega)$ et $B$ par $B\cap Y(\Omega)$, on suppose $A\subset X(\Omega)$, $B\subset Y(\Omega)$. L'événement $(X\in A,Y\in B)$ est la réunion disjointe des $(X=x,Y=y)$ pour $(x,y)\in A\times B$, donc $$P(X\in A,Y\in B)=\sum_{x\in A}\sum_{y\in B}P(X=x)P(Y=y)=\Big(\sum_{x\in A}P(X=x)\Big)\Big(\sum_{y\in B}P(Y=y)\Big)=P(X\in A)P(Y\in B).$$

Pour $a$ et $b$ quelconques, $(f(X)=a)=(X\in f^{-1}(\{a\}))$ et $(g(Y)=b)=(Y\in g^{-1}(\{b\}))$. Par la caractérisation par les parties, $$P(f(X)=a,g(Y)=b)=P\big(X\in f^{-1}(\{a\})\big)P\big(Y\in g^{-1}(\{b\})\big)=P(f(X)=a)P(g(Y)=b).$$

On regroupe les $\omega$ selon la valeur de $X(\omega)$ : $$\sum_{\omega\in\Omega}X(\omega)P(\{\omega\})=\sum_{x\in X(\Omega)}\ \sum_{\omega\in(X=x)}x\,P(\{\omega\})=\sum_{x\in X(\Omega)}x\,P(X=x)=E(X).$$

Avec l'expression sur $\Omega$ : $$E(\lambda X+\mu Y)=\sum_{\omega}\big(\lambda X(\omega)+\mu Y(\omega)\big)P(\{\omega\})=\lambda E(X)+\mu E(Y).$$ Si $X\geqslant 0$, chaque terme $X(\omega)P(\{\omega\})$ est positif, d'où $E(X)\geqslant0$. La croissance s'en déduit en appliquant la positivité à $Y-X$ et la linéarité. Enfin $E(\mathbf{1}_A)=1\cdot P(A)+0\cdot P(\overline A)=P(A)$.

Notons $F=f(X(\Omega))$. Pour $y\in F$, $P(f(X)=y)=\sum_{x:\,f(x)=y}P(X=x)$. Donc $$E(f(X))=\sum_{y\in F}y\sum_{\substack{x\in X(\Omega)\\f(x)=y}}P(X=x)=\sum_{y\in F}\ \sum_{\substack{x\in X(\Omega)\\f(x)=y}}f(x)P(X=x)=\sum_{x\in X(\Omega)}f(x)P(X=x),$$ car chaque $x\in X(\Omega)$ apparaît une et une seule fois, dans le paquet $y=f(x)$. Le cas d'un couple est le cas particulier où la variable est $(X,Y)$.

Bernoulli : $E(X)=1\cdot p+0\cdot(1-p)=p$.

Uniforme : $E(X)=\frac1n\sum_{k=1}^nk=\frac1n\cdot\frac{n(n+1)}2=\frac{n+1}2$.

Binomiale : on note $q=1-p$ et on utilise $k\binom nk=n\binom{n-1}{k-1}$ pour $k\geqslant1$ : $$E(X)=\sum_{k=1}^nk\binom nkp^kq^{n-k}=np\sum_{k=1}^n\binom{n-1}{k-1}p^{k-1}q^{n-k}=np\,(p+q)^{n-1}=np.$$ Autre voie : l'espérance ne dépend que de la loi, et une somme de $n$ variables indépendantes de loi $\mathcal B(p)$ suit $\mathcal B(n,p)$ ; par linéarité, $E(X)=np$.

Par la formule de transfert appliquée au couple, puis l'indépendance : $$E(XY)=\sum_{x,y}xy\,P(X=x,Y=y)=\sum_{x,y}x\,P(X=x)\;y\,P(Y=y)=\Big(\sum_xxP(X=x)\Big)\Big(\sum_yyP(Y=y)\Big)=E(X)E(Y).$$ Le cas de $n$ variables s'obtient par récurrence avec le lemme des coalitions : $X_1\cdots X_{n-1}$ et $X_n$ sont indépendantes.

Notons $m=E(X)$, qui est une constante. Par linéarité, $$V(X)=E(X^2-2mX+m^2)=E(X^2)-2m\,E(X)+m^2=E(X^2)-m^2.$$

On a $E(aX+b)=aE(X)+b$, donc $aX+b-E(aX+b)=a\big(X-E(X)\big)$ et $V(aX+b)=E\big(a^2(X-E(X))^2\big)=a^2V(X)$.

Par la formule de transfert, $V(X)=\sum_{x\in X(\Omega)}(x-m)^2P(X=x)$ avec $m=E(X)$. C'est une somme de termes positifs : elle est nulle si et seulement si chaque terme l'est, c'est-à-dire $P(X=x)=0$ pour tout $x\neq m$, ce qui équivaut à $P(X=m)=1$.

Bernoulli : $X^2=X$, donc $E(X^2)=p$ et $V(X)=p-p^2=p(1-p)$.

Uniforme : $E(X^2)=\frac1n\sum_{k=1}^nk^2=\frac{(n+1)(2n+1)}6$, d'où $$V(X)=\frac{(n+1)(2n+1)}6-\frac{(n+1)^2}4=\frac{(n+1)\big(2(2n+1)-3(n+1)\big)}{12}=\frac{(n+1)(n-1)}{12}.$$ Binomiale : voir plus bas, après la variance d'une somme.

Par bilinéarité et symétrie de la covariance, $$V\Big(\sum_iX_i\Big)=\mathrm{Cov}\Big(\sum_iX_i,\sum_jX_j\Big)=\sum_{i,j}\mathrm{Cov}(X_i,X_j)=\sum_iV(X_i)+2\sum_{i<j}\mathrm{Cov}(X_i,X_j).$$ Si les variables sont deux à deux indépendantes, toutes les covariances $\mathrm{Cov}(X_i,X_j)$, $i\neq j$, sont nulles.

Montrons l'inégalité $a\,\mathbf 1_{(X\geqslant a)}\leqslant X$ point par point. Si $X(\omega)\geqslant a$, le membre de gauche vaut $a\leqslant X(\omega)$. Sinon, il vaut $0\leqslant X(\omega)$ car $X$ est positive.

Par croissance et linéarité de l'espérance, $a\,P(X\geqslant a)=E\big(a\mathbf 1_{(X\geqslant a)}\big)\leqslant E(X)$, puis on divise par $a>0$.

La variable $Y=\big(X-E(X)\big)^2$ est positive, d'espérance $V(X)$. Comme $a>0$, on a l'égalité d'événements $\big(|X-E(X)|\geqslant a\big)=\big(Y\geqslant a^2\big)$. L'inégalité de Markov appliquée à $Y$ et $a^2>0$ donne $$P\big(|X-E(X)|\geqslant a\big)=P(Y\geqslant a^2)\leqslant\frac{E(Y)}{a^2}=\frac{V(X)}{a^2}.$$

On a $E(F_n)=\frac{np}n=p$ et $V(F_n)=\frac1{n^2}V(S_n)=\frac{p(1-p)}n$. Bienaymé-Tchebychev appliquée à $F_n$ donne la première inégalité. La seconde vient de $p(1-p)\leqslant\frac14$ pour $p\in[0,1]$, car $\frac14-p(1-p)=\big(p-\frac12\big)^2\geqslant0$.