· En una cadena de Markov un estado ej se dice que es accesible desde otro estado ei si la probabilidad de ir desde el estado e i al ej en algún momento futuro es distinta de cero.
· Un estado ei está comunicado con otro ej si ej es accesible desde ei y ei lo es desde ej.
· Una cadena de Markov se dice que es irreducible si todos los estados están comunicados entre sí.
· Un estado ej se dice absorbente si es imposible abandonar dicho estado, es decir
P(Xk= ej½Xk-1= ej) = 1.
· Una cadena de Markov es absorbente si tiene algún estado absorbente.
· Si una cadena de Markov es irreducible y absorbente entonces la probabilidad de caer en alguno de los estados absorbentes tiende a uno cuando el número de etapas tiende a infinito.
· Una cadena de Markov se dice que es regular si alguna potencia de la matriz de transición tiene todos sus elementos positivos (no hay ceros)
· Si una cadena es regular entonces es irreducible y no absorbente.