Una [b]Cadena de Markov[/b] es un proceso estocástico a tiempo discreto [math]\left\{X_n:n=0,1,2,.....\right\}[/math] sobre un espacio de estados [b][i]S[/i] [/b]y de modo que si [math]x_0,x_1,x_2,......,x_{n+1}\in S[/math], entonces:[br][br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/8d6c274e7257156331b802094d4a5e14d0114c7b[/img][br][br]A esta propiedad se la conoce como [b]propiedad de Markov[/b].[br][br]Se dice que una [b]Cadena de Markov[/b] es [b]homogénea[/b] si la probabilidad de ir del estado [i][b]i[/b][/i] al estado[b][i] j [/i][/b]en un paso no depende del tiempo en el que se encuentra la cadena, esto es, para todo [math]n\ge0[/math] y para cualesquiera [math]i,j\in S[/math]:[br] [br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/9a6c99973c54b118ddb45c3af4cc8bf796f1a264[/img] [br][br]Si para alguna pareja de estados y para algún tiempo la propiedad no se cumple entonces diremos que la Cadena de Markov es [b]no homogénea[/b].[br][br]Sean [i][b]i, j [/b][/i]dos estados de una Cadena de Markov. La probabilidad de ir del estado[i][b] i[/b][/i] al estado[i][b] j [/b][/i] del tiempo [b][i]n[/i] [/b]al [b]n+1[br][/b][br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/446f8d862e91d38cf8f61ddeac568164e9bf6d6f[/img].[br][br]Cuando la cadena es homogénea, esta probabilidad se denota por[br] [br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/d58c9cae5d01404fe626a8cf5b3d02e409d33b2b[/img][br][br]Teniendo las probabilidades de transición en un paso, si variamos los índices [b][i]i, j,[/i][/b] sobre el espacio de estados [b][i]S[/i][/b], obtenemos la [b]matriz de probabilidades de transición[/b] en un paso: [br] [br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/6aec884782b898844258f811d1d896cbfa15ce2a[/img][br] La matriz anterior es una matriz estocástica, pues verifica que [math]p_{ij}\ge0[/math] y además [math]\sum p_{ij}=1,j\in S,\forall i[/math][br][br]Similarmente se define la matriz de probabilidades de transición en n pasos [math]P\left(n\right)[/math][br] [br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/e5bb15fd899bd3acb4ea09c036bfa6271ec3bb6d[/img][br][br]donde la entrada [b][i]p[sub]ij[/sub](n)[/i][/b] representa la probabilidad de pasar del estado[b][i] i [/i][/b]al [b][i]j[/i][/b] en [i][b]n[/b][/i] pasos. Es claro que [b][i]P(n)=P[/i][/b][b][sup][i]n[/i][/sup][br][br][/b][size=100]Se dice que una distribución de probabilidad [math]\pi=\left(\pi_0,\pi_1,......,\pi_n\right)[/math] es estacionaria para una [b]Cadena de Markov [/b]con matriz de probabilidades de transición [b][i]P[/i] [/b]si [math]\pi=\pi P[/math][b][i]. [/i][/b]Significa que si una variable aleatoria inicial [math]\text{X}_0[/math] tiene una distribución [img]https://wikimedia.org/api/rest_v1/media/math/render/svg/9be4ba0bb8df3af72e90a0535fabcc17431e540a[/img] entonces la distribución después de [b][i]n[/i][/b] pasos también es [img]https://wikimedia.org/api/rest_v1/media/math/render/svg/9be4ba0bb8df3af72e90a0535fabcc17431e540a[/img], es decir, esta distribución no cambia con el paso del tiempo.[br][br]Para encontrar una posible [b]distribución estacionaria[/b] de una cadena con matriz [b][i]P[/i][/b], un método consiste en resolver el sistema de ecuaciones:[br][br][img]https://wikimedia.org/api/rest_v1/media/math/render/svg/0aab71c3b1b4de6a0eb2dadbb7cc6a4ad9aa5a71[/img][/size]