Cadenas de Markov

Próxima Principal
Andrei Andreivich Markov (1856-1922)

Matemático y lingüista nacido en Ryazan, Rusia, en 1856. Estudió y

se doctoró en la Universidad de San Petersburgo, donde comenzó
su labor docente en 1886. Es a comienzos del siglo XX cuando da
continuidad a los estudios de su maestro Pafnuty Chebyshev sobre
los cálculos matemáticos de la lógica de la probabilidad. Su obra
tuvo continuidad en su hijo, de igual nombre que él, Andrei Markov
(1903-1979). Falleció en San Petersburgo en 1922. (Pequeña nota
biográfica obtenida en el
Internet: http://www.infoamerica.org/teoria/markov1.htm)

A veces la naturaleza es "markoviana", es decir la probabilidad de

lo que ocurrirá en un determinado instante dependerá
exclusivamente del pasado inmediatamente anterior, y no del
pasado del "pasado inmediatamente anterior". De manera
grosera, hay procesos en que el evento que ocurrirá el jueves,
depende exclusivamente de lo que haya sucedido el día
miércoles, y para nada interesa lo que haya sucedido los días
anteriores al miércoles. Y no es porqué el proceso tenga "mala
memoria", sino que el proceso tiene la virtud de retener lo
esencial el día miércoles, y por lo tanto es superfluo mantener
información anterior al miércoles.

El proceso que mejor grafica esta situación son los famosos

"modelos de urna". En efecto, suponga que se tiene una urna con
3 bolas blancas y 3 bolas negras, y se saca una bola al azar,
conforme sea el color de la bola extraída se devuelve a la urna
una bola del color contrario. Se repite este proceso en forma
indefinida. Pues bien, este es un claro ejemplo de "cadena de
Markov"(*). En efecto, Lo esencial es saber el "estado de la urna
en cualquier momento", esto se traduce en "saber el número de
bolas blancas que queda en la urna después de la n-ésima
extracción", definamos este número (variable) por la variable Xn.
En este caso es claro que para poder calcular la probabilidad de
que haya k bolas blancas después de la n+1 extracción
dependerá de cómo quedé la situación después de la n-ésima
extracción, y para nada importa lo que haya sucedido antes de la
n-ésima extracción. En términos matemáticos, utilizando
probabilidades condicionales (que es el mejor concepto que liga
el presente con el pasado) y la ley de la probabilidad total se tiene
que:

(1)

Esta igualdad no es difícil de deducir, toda vez que después de la

extracción n+1 la urna pueda contener k bolas blancas es porque
en la anterior extracción contuvo k - 1 ó k + 1 bolas blancas, en
cualquier otra eventualidad anterior no se podrá llegar a k bolas
blancas.

En rigor, como k puede varíar desde 0 bolas blancas hasta 6

bolas blancas, tenemos 7 ecuaciones del tipo anterior dada en
(1). Ahora bien, las probabilidades condicionales son sencillas de
calcular (después de unos 5 minutos de reflexión), en efecto

Observemos que la igualdad dada en (1) la podemos poner en

forma general, para k = 0, 1, ..., 6 como:

(2)

de manera que matricialmente estas 7 ecuaciones adoptan la

forma siguiente :

(3)
Convencerse que (2) es equivalente a (3) no deberá llevarle más
allá de tres minutos. La ecuación nos entrega la forma dinámica
de determinar la probabilidad del estado de la urna después de
cualquier extracción (que con abuso de lenguaje diremos "
tiempo n"). En efecto, hagamos

de modo que tenemos

Y no resulta complicado deducir que

(2)

siendo P0 la distribución inicial de las bolas en la urna, y puesto

que se parten con 3 bolas blancas y 3 bolas negras, se tiene que
Pr{ X0 = 3 } = 1, esto es

De manera que, para cualquier "tiempo" (extracción) n y

conociendo la distribución inicial P0, podemos calcular
Pn mediante el simple cálculo de la matriz Mn. Por ejemplo la
distribución cuando se haga la extracción nº 100 será de (cálculo
realizado en el DERIVE):
Lo realmente extraordinario (aunque después de unos minutos de
reflexión, no lo es tanto) es que

Nota: Ni siquiera le daremos explicación de porqué las columnas

de la matriz M suman 1. De momento, para lo que viene más
adelante le aconsejamos que repase la "representación espectral
de la potencia de una matriz de Markov". De una buena vez
diremos que toda matriz cuadrada no negativa será de Markov si
la suma de cada columna es 1. ¿Cuál será el radio espectral de
una matriz de Markov?. El radio espectral se define como el valor
absoluta del mayor autovalor de la matriz.

(*) Se usa la palabra "cadena" para subrayar que el proceso es en

"tiempo" discreto (el espacio de los subíndices de las variables)

Clasificación de estados en las cadenas de

Markov

Anterio Próxim Princip

r a al
Como hemos visto en las clases anteriores, no siempre existe la distribución
asintótica en una cadena de Markov, o de otra forma no siempre existe

Es claro que mediante la resolución espectral de la potencia de una matriz de

Markov, sabremos si existe la distribución "asintótica" o no. No obstante
mediante análisis de los estados de una cadena de Markov, podemos encontrar
condiciones para la existencia de esta probabilidad.

Sean i y j dos estados de una cadena de Markov, diremos

que j es accesible desde i si

De otra forma el estado j es accesible desde i si existe una probabilidad

positiva de que en un número finito de transiciones el estado jpuede ser
alcanzado desde el estado i. Diremos que los
estados i y j son comunicativos si ambos son mutuamente accesibles.
Entonces dos estados i y j son no comunicativos si ocurre una o ambas
situaciones:

La relación comunicativos es una relación de equivalencia entre los estados,

luego esta relación define una partición en el espacio de estados agrupados en
clases de equivalencia. Veamos un ejemplo, sea la matriz de transición

el grafo asociado a esta cadena de Markov es

 Las clases de equivalencia son {0,1}, {2,3,4}. Si el estado inicial pertenece a
la clase del {0,1} entonces, cualquiera sea el tiempo, permanecerá en esa
clase, y para cualquier estudio del desarrollo dinámico de este sistema la
matriz relevante será

De manera análoga, si el proceso se inicia en los estados {2,3,4}, entonces

para cualquier tiempo posterior el proceso seguirá en dicha clase, y la matriz
relevante será

El ejemplo anterior indica que al haber dos clases existe una "reducción" de la
matriz de transición que dependerá de cuál es el estado inicial del proceso.
Esto nos induce a entregar la siguiente definición. Diremos que una cadena de
Markov es irreducible si la relación de equivalencia "comunicativos" genera
una única clase. Esto es, el proceso es irreducible si todos los estados son
comunicativos.

Veamos dos ejemplos. Consideremos una cadena de Markov con espacio de

estado S={0,1,2, ..., a} de modo que su matriz de transición sea
 Entonces aquí existen tres clases, a saber {0}, {1,2, ..., a-1} y {a}.
Observemos que desde la segunda clase es posible llegar a las clases
exteriores, pero toda vez que se entre allí no se puede salir (se dice que los
estados {0} y {a} son absorventes). Esta cadena de Markov no es irreducible.

Entregaremos ahora una cadena de Markov irreducible que estará

representada por la matriz

Una manera de ver que todos sus estados son comunicativos es trazar el grafo
asociado a este proceso. En efecto

y se ve claramente que existe una única clase.

Periodicidad de una cadena de Markov: Se define el período de un estado i,
y se denota por d(i), como el máximo común divisor de los enteros para

los cuales

Ahora si se define d(i) = 0. A modo de ejemplo

consideremos el paseo aleatorio de manera que (vea la sección

1.2, pag. 6 de los apuntes de Cadenas de Markov, en pdf), entonces es fácil
verificar que d(i) = 2 para cualquier estado i. Ahora si para este paseo

aleatorio existe un estado k tal que , entonces cada estado i tiene

período d(i) = 1, puesto que si el estado inicial es i, el sistema puede alcanzar
el estado k y permanecer allí (eventualmente) cualquier longitud de tiempo
antes de retornar a i.

Ejemplo: Consideremos una cadena de Markov de n estados y con matriz de

transición:

Es fácil convencerse que d(i) = n para todo i = 1, 2,..., n

Objetivo: Seguiremos estudiando las propiedades de los estados de una cadena

de Markov.

Existen tres propiedades básicas del período de un estado que se puede

verificar con lápiz y papel para diversas cadenas de Markov

 si i y j son comunicativos entonces d(i) = d(j)

 Si i tiene período d(i) entonces existe un entero N tal que para

todo n>N se cumple que

Esta propiedad asegura que el retorno a i puede ocurrir para todo múltiplo
de d(i) suficientemente grande.
  Si

para todo n suficientemente grande.

Una cadena de Markov en la que cada estado tiene período 1 es

llamada aperiódica. Una gran parte de las cadenas de Markov caen dentro de
esta clasificación.

Recurrencia. Vamos a definir el "regreso a casa en n pasos por primera vez".

Para el estado i y el tiempo n definimos la probabilidad

Esto es, es la probabilidad de que, partiendo desde el estado i, el primer

regreso al estado i ocurra en la n-ésima transición.

Es claro que . Ahora la probabilidad se puede calcular

recursivamente de acuerdo a

donde se define .

De manera similar podemos definir la probabilidad ; esto es, como la

probabilidad de la primera llegada desde el estado i al estado jen la n-ésima

transición. Se define, además, . También es fácil verificar

que
 Recurrencia en las cadenas de Markov

Anterio Próxim Princip

r a al

Objetivo: Aplicaremos los resultados de la sesión anterior.

De acuerdo al modelo del stock, supongamos que tenemos una agencia de

venta de vehículos que utiliza la reposición s = 1 y S = 3. Supongamos que la

variable de demanda se distribuye según una Poisson de

parámetro . La cadena está definida como

El cálculo efectuado para este caso, nos dice que la matriz de Markov es

supongamos que la agencia empieza con 3 vehículos, y es de interés saber la

probabilidad de llegar a cero vehículos en la primera y segunda semana.
Aplicando la fórmula

es elemental concluir que

el cálculo de los , como ya sabemos, se obtiene mediante las
respectivas potencias de la matriz . Nuestras probabilidades de interés
están dadas por

puesto que la entrada se obtiene de

Caracterización de estados recurrentes

Anterio Próxim Princip

r a al

Objetivo: Estudiaremos la caracterización de cadenas de Markov recurrentes.

En base a la definición de las probabilidades vamos a decir que un

estado i es recurrente si partiendo de i llegará, con probabilidad 1 en un
tiempo finito, nuevamente al estado i. De otra forma i es recurrente si y solo
si . Por el contrario, el estado i se

dirá transitorio si . Esta última definición nos dice que si un

proceso abandona un estado transitorio, existe una probabilidad positiva de
que nunca regrese.

Ejemplo: Suponga una cadena de Markov con espacio de estados {0, 1, 2, 3,

4}, y las probabilidades de transición están dadas por la matriz de Markov

El estado 2 es absorbente; 3 y 4 son transitorios; 0 y 1 son recurrentes.

Existe una caracterización para un estado recurrente en función de las

probabilidades , que damos a continuación

Teorema. Un estado i es recurrente si y solo si .Y

además si i y j son comunicativos y j es recurrente, entonces itambién es
recurrente.

Ejemplo. Consideremos un paseo aleatorio unidimensional, de modo que con

probabilidad p la partícula se mueve al estado adyacente derecho y con
probabilidad q al estado adyacente izquierdo ( ). Nota: para la
modelación de este ejemplo baje en ambiente Stella el modelo paseo aleatorio
unidimensional.

Es claro que ; puesto que no puede volver al origen en

una longitud de tiempo impar. Por otro lado
Es decir cada movimiento se trata como un ensayo independiente de
Bernoulli, donde corresponde a la probabilidad de "éxito" (avance) y a la

probabilidad de "fracaso" (retroceso). El factor indica el número de

formas que podemos seleccionar los éxitos. Utilizaremos la aproximación de
Stirling

y puesto que

se tiene que

y se verifica sin dificultad que la serie

diverge si y en cualquier otro caso la serie converge. En

efecto, para , se tiene que
Con esto queda probado que el estado 0 es recurrente para este caso.

Tarea: Considere, ahora, un paseo aleatorio bidimensional. Suponga que una

partícula se mueve en el plano en las direcciones canónicas, de modo que la
probabilidad de subida, bajada, derecha e izquierda es igual a 1/4. Demuestre
que el estado 0 es recurrente.

Suponga que en un juego existen 2 jugadores, cada uno de los

cuales dispone inicialmente de 2 monedas. En cada jugada se gana
una moneda con probabilidad ½ o se pierde una moneda
conprobabilidad ½. El juego termina cuando un jugador tiene 4
monedas o se queda con ninguna. Modele como una Cadena de
Markov la situación descrita.

Desarrollo: El primer caso consiste en identificar la variable aleatoria

la cuál debe representar el problema planteado, en este caso la
evolución del juego al cabo de cada etapa o jugada. Se define la
variable aleatoria en tiempo discreto Xn : Cantidad de monedas que
tiene uno de los jugadores (digamos el jugador A) al cabo de la
enésima jugada.

Luego se debe identificar los posibles valores o estados que puede

tomar esta variable aleatoria para una etapa n cualquiera. Sabemos
que el jugador A comienza el juego con 2 monedas y el juego termina
cuando pierde todo (y por tanto el jugador B gana) o cuando gana
todo (y por tanto el jugador B pierde). En consecuencia, los valores
posibles para Xn son{0,1,2,3,4}.

A continuación se debe determinar las probabilidades de transición

(en una etapa). Por ejemplo, si actualmente el jugador A tiene 2
monedas, la probabilidad que tenga 3 monedas al cabo de una
jugada es ½ (probabilidad de ganar) y la probabilidad de que tenga 1
moneda es ½ (probabilidad de perder). De esta forma se identifican
las distintas combinaciones o probabilidades de que comenzando en
un estado "i" se pueda pasar a un estado "j" al cabo de una etapa.
Notar que si el jugador A tiene 0 monedas la probabilidad que
continue en eseestado es 1 (o 100%) dado que no tiene monedas
para seguir jugando. De la misma forma si el jugador A tiene 4
monedas el jugador B tiene 0 y por tanto la probabilidad de que el
jugador A se mantenga en ese estado es de 1 (o 100%).
Las probabilidades de transición en una etapa se pueden representar
haciendo uso de un grafo o en forma resumida a través de la matriz
de transición de probabilidades.

Cabe destacar que la suma de las probabilidades para cada fila en la

matriz de transición P es de un 100%.

Podemos responder preguntas adicionales cómo por ejemplo ¿Cuál es

la probabilidad de que el jugador A tenga 2 monedas al cabo de 2
jugadas?

Haciendo uso del grafo y dado que actualmente el jugador A tiene 2

monedas, se busca identificar las combinaciones que permitan a este
jugador mantener esta cantidad de monedas al cabo de 2 etapas.
Esto se logra ganando la próxima jugada (con probabilidad ½) y
perdiendo la jugada que sigue (con probabilidad ½). También se llega
al mismo resultado perdiendo la próxima jugada pero luego ganando
en la jugada que sigue. Por tanto la probabilidad de tener 2 monedas
al cabo de 2 etapas es P(X2=2/X0=2) = ½*½ + ½*½ = ½.
Cadenas de Markov
1. Una computadora se inspecciona cada hora. Se encuentra que
está trabajando o descompuesta. Si está trabajando la probabilidad
de que siga trabajando la siguiente hora es 0.9 Si está
descompuesta, se toman las medidas para repararla lo que puede
llevar más de una hora. Siempre que la computadora esté
descompuesta, Independientemente de cuanto tiempo haya pasado,
la probabilidad de que siga descompuesta la siguiente hora es 0.35.

A. Modele el sistema como una cadena de Markov.

Solución:

Debemos definir los estados

Eo = La maquina está trabajando

E1 = La maquina está descompuesta

Eo E1
Eo 0.9 0.1
E1 0.65 0.35

B. Hoy está trabajando, ¿Cuál es la probabilidad de que en 4 hrs

sigatrabajando

Solución:

Buscamos T4 = P(4)

T4 =

Eo E1
Eo 0.85 0.15
E1 0.84 0.16

2. Un fabricante de grabadoras está tan seguro de su calidad que

está ofreciendo garantía de reposición total si el aparato falla en dos
años. Basándose en datos compilados la compañía ha notado que
solo el 1 % de las grabadoras falla durante el primer año y 5 %
durante el segundo. La garantía no cubre grabadoras ya
reemplazadas.
A. Modele el sistema como una cadena de Markov.

Solución:

Debemos definir los estados

Eo = Está funcionando en su primer año.

E1 = Está funcionando en su segundo año.

E2 = Se reemplaza por garantía.

E3 = Finaliza la garantía.

Eo E1 E2 E3
Eo 0 0.99 0.01 0
E1 0 0 0.05 0.95
E2 0 0 1 0
E3 0 0 0 1

3. Cada familia norteamericana se puede clasificar como habitante

de una zona urbana, rural ó suburbana, durante un año determinado
el 15% de las familias urbanas se cambian a la zona suburbana y el 5
% a la zona rural. El 6% de la familias suburbanas pasan a la zona
urbana y el 4% a la rural, el 4% de las familias rurales pasan a la
zona urbana y el 6% a la suburbana .

A. Construya la matriz de transición

Solución:

Debemos definir los estados

Eo = Zona urbana

E1 = Zona Rural

E2 = Zona Suburbana

Eo E1 E2
Eo 0.8 0.05 0.15
E1 0.04 0.90 0.06
E2 0.06 0.04 0.90
B. Si una familia vive actualmente en lazona urbana ¿ Cual es la
probabilidad que después de dos años viva en la zona urbana?

Solución:

Buscamos T2

Eo E1 E2
Eo 0.651 0.091 0.258
E1 0.0716 0.8144 0.114
E2 0.1036 0.075 0.8214

El valor que buscamos se encuentra en azul y este nos indica que la

probabilidad que buscamos es del 65.1 %.

C. Suponga que en la actualidad el 40% de las familias viven en la

zona urbana, el 35% en la zona suburbana y el 25 en la zona rural .
Después de dos años ¿Qué porcentaje de familias vivira en la zona
urbana?

Solución:

Debemos identificar el vector P =

0.4 0.25 0.35

Que lo tomamos de los porcentajes que nos da el problema.

Buscamos P*T2
Eo E1 E2
Eo 0.651 0.091 0.258
E1 0.0716 0.8144 0.114
E2 0.1036 0.075 0.8214
0.4 0.25 0.35
*

Lo que nos da este resultado:

0.31456 0.26625 0.41919

La respuesta se encuentra marcada en azul, lo que nos da un
porcentaje de 31.45% de familias que después de dos años
vivira el la zona urbana

4. El departamento de mantenimiento de una empresa da servicio a tres

departamentos de ella (A, B, C), sujeto a ciertas restricciones. Nunca se da servicio
al mismo departamento en días seguidos. Si se atiende al departamento A, entonces
al día siguiente se atiende al B. Sin embargo, si se atiende a uno de los
departamentos B ó C, entonces el día siguiente se tiene doble probabilidad de
atender a A, que atender a otro departamento.

A. Construya la matriz de transición:

Solución:

A B C
A 0 1 0
B 2/3 0 1/3
C 2/3 1/3 0