Chaîne de Markov : définition (Maths expertes)

Soit $E=\{1,2,\dots,m\}$ un ensemble fini d'états. Une suite de variables aléatoires $(X_n)_{n\in\mathbb{N}}$ à valeurs dans $E$ est une chaîne de Markov (homogène) si, pour tous états $i$ et $j$, la probabilité de passer de $i$ à $j$ entre les instants $n$ et $n+1$ ne dépend ni de $n$, ni des états occupés avant l'instant $n$. On note $$p_{ij}=P_{(X_n=i)}(X_{n+1}=j).$$ L'avenir ne dépend du passé qu'à travers l'état présent.