Una cadena de Markov
consiste en una sucesión de variables aleatorias {X1 ,
X2 ,..., Xi,...} a las cuales llamaremos etapas,
que verifican las siguientes condiciones:
· Todas las etapas Xi tienen el mismo conjunto de valores posibles {e1, ... ,en} a cada uno de estos valores se le llama estado.
· La probabilidad de que en la etapa Xi aparezca el estado ej depende únicamente del estado en la etapa anterior, pero no de las anteriores a esta. Es decir:
Si además la probabilidad condicionada P(Xi =ej| Xi-1) no depende de la etapa en la que nos encontremos sino que es constante, entonces se dice que la cadena de Markov es homogénea.
Ejemplo:
Consideremos un país en el
cuál operan tres compañías telefónicas, las cuales indicaremos por A, B y C.
Dichas compañias realizan contratos con sus usuarios por una duración de seis
meses. Transcurrido dicho tiempo el usuario es libre para cambiar la compañía.
En este ejemplo las etapas
serán las variables que representen la elección del usuario en cada semestre y
los estados serán las compañías A, B y C que puede contratar.
Podemos suponer además que
en este ejemplo la cadena es homogénea y que las probabilidades son las
siguientes:
