ACTIVIDAD 9

 Definición de proceso cadena de Márkov

Una cadena de Márkov es un sistema matemático generalmente definido como una
colección de variables aleatorias, que pasan de un estado a otro de acuerdo con ciertas
reglas probabilísticas. Este conjunto de transición satisface la propiedad de Márkov, que
establece que la probabilidad de transición a un estado particular depende únicamente
del estado actual y el tiempo transcurrido, y no de la secuencia de estado que la precedió.
Esta característica única de los procesos de Márkov los deja sin memoria.

P( X n=i n∨X n−1 =i n−1 )=P ¿

Para tener un modelo de cadena de Márkov funcional, es esencial definir una matriz de
transición Pt . Una matriz de transición contiene la información sobre la probabilidad de
transición entre los diferentes estados del sistema. Para que una matriz de transición sea
válida, cada fila debe ser un vector de probabilidad y la suma de todos sus términos debe
ser 1 .
Las matrices de transición tienen la propiedad de que el producto de las matrices
posteriores puede describir las probabilidades de transición a lo largo de un intervalo de
tiempo. Por lo tanto, uno puede modelar qué tan probable es estar en un cierto estado
después de k pasos calculando lo siguiente:

Probabilidades despues de k pasos=Estado inicial∗P kt

Las cadenas de Márkov tienen un uso prolífico en matemáticas. Son ampliamente

empleados en economía, teoría de juegos, teoría de la comunicación, genética y finanzas.
Surgen ampliamente en estadística especialmente en estadísticas bayesianas y contextos
teóricos de la información. Cuando se trata de problemas del mundo real, se utilizan para
postular soluciones para estudiar sistemas de control de crucero en vehículos de motor,
colas o líneas de clientes que llegan a un aeropuerto, tipos de cambio de monedas, etc.

https://www.datacamp.com/community/tutorials/markov-chain-analysis-r
 Definición de proceso estocástico.

Los procesos estocásticos son modelos probabilísticos para cantidades aleatorias que
evolucionan en el tiempo o el espacio. La evolución se rige por alguna relación de
dependencia entre las cantidades aleatorias en diferentes momentos o ubicaciones. Las
principales clases de procesos estocásticos son caminatas aleatorias, procesos de Markov,
procesos de ramificación, procesos de renovación y movimiento browniano. Las áreas de
aplicación importantes son finanzas matemáticas, procesos de colas, análisis de algoritmos
informáticos, series de tiempo económicas, análisis de imágenes, redes sociales y
modelado de fenómenos biomédicos. Los modelos de proceso estocástico se usan
ampliamente en aplicaciones de investigación de operaciones.
 Proceso de Márkov
Un proceso estocástico se llama Markovian (después del matemático ruso Andrey
Andreyevich Markov ) si en algún momentot la probabilidad condicional de un evento
futuro arbitrario dado todo el pasado del proceso, es decir, dada X ( s) para todos los
s ≤t — iguales la probabilidad condicional de ese evento futuro dado solo X ( t). Por lo
tanto, para hacer una declaración probabilística sobre el comportamiento futuro de un
proceso de Markov , no es más útil conocer toda la historia del proceso que conocer solo
su estado actual. La distribución condicional de X (t +h) dado X (t) se llamaProbabilidad
de transición del proceso. Si esta distribución condicional no depende de t , se dice que el
proceso tiene probabilidades de transición "estacionarias". Un proceso de Markov con las
probabilidades de transición estacionarias pueden o no ser un proceso estacionario en el
sentido del párrafo anterior. Si Y 1, Y 2, ... son variables aleatorias independientes y
X ( t )=Y +…+Y t, el proceso estocástico X (t) es un proceso de Markov. Dado X (t)=x ,
la probabilidad condicional de que X (t +h) pertenezca a un intervalo (a , b) es solo la
probabilidad de que Y t +1 +⋯+Y t+ h pertenece al intervalo traducido (a−x ,b−x) ; y
debido a la independencia, esta probabilidad condicional sería la misma si también se
dieran los valores de X (1), ..., X ( t−1). Si las Y s están distribuidas de manera idéntica e
independientes, esta probabilidad de transición no depende de t , y entonces X ( t) es un
proceso de Markov con probabilidades de transición estacionarias. A veces X ( t) se llama
acaminata aleatoria, pero esta terminología no es completamente estándar. Dado que
tanto el proceso de Poisson como el movimiento browniano se crean a partir de caminatas
aleatorias mediante procesos limitantes simples, ellos también son procesos de Márkov
con probabilidades de transición estacionarias.

https://www.britannica.com/science/probability-theory/Markovian-processes

 Probabilidad de transición en un solo paso.

Dada una cadena de Márkov conk estados posibles s1 ,... , s k y probabilidades de transición
estacionarias.
p 11 … p1 k

(
si pij =P ( X n +1=s j| X n=s i) ⟹ P= ⋮ …
pk 1 …
⋮
p kk )
La matriz de transición P de cualquier cadena de Markov finita con probabilidades de
transición estacionarias es una matriz estocástica.

Ejemplo:

Supongamos que el clima de una determinada región sólo puede ser soleado ( s1 ) o
nublado ( s2 )y que las condiciones del clima en mañanas sucesivas forman una cadena de
 Markov con probabilidades de transición estacionarias. La matriz de transición está dada
por:
P= 0.7 0.3
( )
0.6 0.4
Si un día concreto está nublado, ¿cuál es la probabilidad de que esté nublado el día
siguiente?
p22=¿0.4¿

 Probabilidades de transición absolutas y de n pasos.

Dada una cadena de Márkov conk estados posibles s1 ,... , s k y probabilidades de transición
estacionarias P .

si pij 2=P ( X n +2=s j| X n=si )

pij 2 : Elemento de lai−ésima fila y j−ésima columna de la matriz P2

Pm : Potenciam−ésima de P , con ( m=2,3 , … ) y

pij(m) : Elemento de lafila i y de lacolumna j de la matriz Pm

GENERALIZANDO

Pmes la matriz de probabilidades pij de que la cadena pase del estado si al estado s j en m
(m)

pasos; para cualquier valor de m , ( m=2,3 , … ) .

Pmes la matriz de transición de m pasos de la cadena de Markov

Ejemplo:

Con la matriz de transición anterior

P= 0.7 0.3
( )
0.6 0.4
Si un miércoles está nublado, ¿cuál es la probabilidad de que el viernes siguiente haga sol?

Calculamos la matriz en dos pasos

P2= 0.67 0.33 ⇒ la probabilidad pedidaes 0.66

( )
0.66 0.34

 Clasificación de los estados de una cadena de Márkov.

 Absorbente.
Un estado i es un estado absorbente si pii =1 .Es decir Pi ( T i=1 )=1. En otras palabras,
siempre que se entra a un estado de absorción, nunca se podrá· dejar.
 Ejemplo:

Supóngase que se tiene la siguiente situación, al tiempo 0 se tienen2 dólares y en los

tiempos 1,2 … se participa en un juego el cual consiste en apostar en cada etapa. En
cada etapa se tiene la probabilidad p de ganar, y por lo tanto la probabilidad es 1− p
de perder, la finalidad es de aumentar el capital de 0 a 4 dólares y una vez logrado este
objetivo terminar el juego, claramente si el capital del jugador es 0 se termina el juego.
Sea X t el capital de jugado al tiempo t. la sucesión { X t } es un proceso estocástico a
tiempo discreto.
Nótese que X 0=2 es una constante conocida pero que X 1 y las demás X t son
aleatorios. Por ejemplo X 1 =3 con probabilidad p y X 1 =1 con probabilidad 1-p.
además si X t =4, entonces X t +1 y todas las demás X t , también serán igual a 4.
Igualmente, si X t será 0 también. A esta situación se le como problema de la ruina del
jugador.
Como la cantidad de dinero que se tiene después de t+ 1 jugadas dependen de los
antecedentes del juago solo hasta la cantidad de efectivo que se tendrá después de t
jugadas, es posible que se trata de una cadena de Markov estacionaria. La matriz de
transición es la siguiente el estado i es que se tienei dólares:

Estados 0 dólares 1 dólar 2 dólares 3 dólares 4 dólares

0 dólares 1 0 0 0 0
1 dólar 1− p 0 p 0 0
2 dólares 0 1− p 0 p 0
3 dólares 0 0 1− p 0 p
4 dólares 0 0 0 0 1

Si el estado es 0 dólares o 4 dólares no se juega más y, por lo tanto, el estado no se

puede cambiar; entonces el estado p44 =1.Para los demás estados se sabe que, con la
probabilidad p, el estado del siguiente periodo será mayor que el estado actual en 1 y
con probabilidad 1− p , el estado del siguiente periodo será menor que en 1 que el
estado actual.
Una Cadena de Markov con espacio de estados finitos se puede representar con una
gráfica en la que cada nodo representa un estado y arco ( i ; j )representa la probabilidad
de transición pij. La siguiente figura es una representación gráfica de la matriz de
probabilidad de transición para este ejemplo.

 Transitorio. Definición y ejemplo

 Recurrente. Definición y ejemplo
 Periódico. Definición y ejemplo
 Probabilidades de estado estable u tiempos de cadenas ergódicas

Si el sistema o proceso que se modela con Markov tiene ciertas propiedades, es posible
determinar las probabilidades de los sucesos después de alcanzar condiciones de estado
 estable. Luego de un largo tiempo de funcionamiento del proceso, un evento dado puede
presentarse durante un porcentaje x del tiempo. Se desea estar en capacidad de
determinar estos porcentajes. Lo que los detractores señalan en este punto es la
condición de que la matriz de transición contenga probabilidades que permanezcan
constantes con el tiempo.
Para asegurar la condición de estado estable, la cadena debe ser ergódica (algunas veces
denominada cadena irreductible).

Una cadena ergódica describe de forma matemática un proceso en el cual es posible

avanzar desde un estado hasta cualquier otro estado, no es necesario que esto se dé en un
sólo paso, pero debe ser posible para que cualquier resultado sea logrado
independientemente del estado presente.
https://tem-ing.blogspot.com/p/cadenas-de-markov_02.html

 Tiempo del primer paso

Con frecuencia es conveniente poder hacer afirmaciones en términos de probabilidades
sobre el número de transiciones que hace el proceso de ir al estado i al estado j por
primera vez. Este lapso se llama tiempo de primera pasada.
Cuando j=i, este tiempo de primera pasada es justo el número de transiciones hasta que el
proceso regrese al estado inicial i. En este caso el tiempo de primera pasada se llama
tiempo de recurrencia para el estado i.

https://investigaciondeoperaciones2producc.blogspot.com/2011/06/cadenas-de-markov.html

https://lainvestigaciondeoperaciones.blogspot.com/2018/11/tiempos-de-primera-pasada.html

Cadenas de Markov en Python: Tutorial para principiantes matriz de transición de n pasos,

¡Aprenda sobre las cadenas de Markov, sus propiedades, matrices de transición e implemente una
usted mismo en Python!

En este tutorial, descubrirá cuándo puede usar las cadenas de Markov, qué es la cadena de
Markov de tiempo discreto . También aprenderá sobre los componentes que se necesitan para
construir un modelo de cadena de Markov (tiempo discreto) y algunas de sus propiedades
comunes. A continuación, se va a poner en práctica un modelo simple, con Python usando sus
numpyy randombibliotecas. También aprenderá algunas de las formas de representar una cadena
de Markov, como un diagrama de estado y una matriz de transición .

¿Desea abordar más temas de estadísticas con Python? ¡Mira el curso de Pensamiento estadístico
de DataCamp en Pyhon !

Hagamos la transición ...

¿Por qué las cadenas de Markov?

Las cadenas de Markov tienen un uso prolífico en matemáticas. Son ampliamente empleados en
economía, teoría de juegos, teoría de la comunicación, genética y finanzas. Surgen ampliamente
en estadística especialmente en estadísticas bayesianas y contextos teóricos de la información.
Cuando se trata de problemas del mundo real, se utilizan para postular soluciones para estudiar
sistemas de control de crucero en vehículos de motor, colas o líneas de clientes que llegan a un
aeropuerto, tipos de cambio de monedas, etc. El algoritmo conocido como PageRank, que fue
originalmente propuesto para el buscador de internet Google, se basa en un proceso de Markov.
El Subreddit Simulator de Reddit es un subreddit completamente automatizado que genera envíos
y comentarios aleatorios utilizando cadenas de markov, ¡genial!

Cadena Markov

Una cadena de Markov es un proceso aleatorio con la propiedad de Markov. Un proceso aleatorio
o a menudo llamado propiedad estocástica es un objeto matemático definido como una colección
de variables aleatorias. Una cadena de Markov tiene un espacio de estado discreto (conjunto de
valores posibles de las variables aleatorias) o un conjunto de índice discreto (que a menudo
representa el tiempo), dado el hecho, existen muchas variaciones para una cadena de Markov. Por
lo general, el término "cadena de Markov" se reserva para un proceso con un conjunto discreto de
tiempos, es decir, una cadena de Markov de tiempo discreto (DTMC).

Cadena de Markov de tiempo discreto

Una cadena de Markov de tiempo discreto involucra un sistema que está en un cierto estado en
cada paso, con el estado cambiando aleatoriamente entre los pasos. Los pasos a menudo se
consideran momentos en el tiempo (pero bien podría referirse a la distancia física o cualquier otra
medida discreta). Un tiempo discreto de la cadena de Markov es una secuencia de variables
aleatorias X 1 , X 2 , X 3 , ... con la propiedad de Markov, de modo que la probabilidad de pasar al
siguiente estado depende solo del estado actual y no de los estados anteriores. . Poniendo esto es
una fórmula matemática probabilística:

Pr (X n + 1 = x | X 1 = x 1 , X 2 = x 2 ,…, X n = x n ) = Pr (X n + 1 = x | X n = x n )

Como puede ver, la probabilidad de X n + 1 solo depende de la probabilidad de X n que le precede.

Lo que significa que el conocimiento del estado anterior es todo lo que se necesita para
determinar la distribución de probabilidad del estado actual, satisfaciendo la regla de
independencia condicional (o dicho de otra manera: solo necesita saber el estado actual para
determinar el siguiente estado).

Los posibles valores de X i forman un conjunto contable S llamado espacio de estado de la cadena.
El espacio de estado puede ser cualquier cosa: letras, números, puntajes de baloncesto o
condiciones climáticas. Si bien el parámetro de tiempo suele ser discreto, el espacio de estado de
una cadena de Markov de tiempo discreto no tiene restricciones ampliamente acordadas, y más
bien se refiere a un proceso en un espacio de estado arbitrario. Sin embargo, muchas aplicaciones
de las cadenas de Markov emplean espacios de estado finitos o infinitamente contables, porque
tienen un análisis estadístico más directo.

Modelo

Una cadena de Markov se representa usando un autómata probabilístico (¡solo suena

complicado!). Los cambios de estado del sistema se llaman transiciones. Las probabilidades
asociadas con varios cambios de estado se llaman probabilidades de transición. Un autómata
probabilístico incluye la probabilidad de una transición dada a la función de transición,
convirtiéndola en una matriz de transición.

Puede pensarlo como una secuencia de gráficos dirigidos, donde los bordes del gráfico n están
etiquetados por las probabilidades de pasar de un estado en el tiempo n a los otros estados en el
tiempo n + 1, Pr (X n + 1 = x | X n = x n ). Puede leer esto como, probabilidad de ir al estado X n + 1
dado el valor del estado X n . La matriz de transición representa la misma información de tiempo n
a tiempo n + 1. Cada estado en el espacio de estado se incluye una vez como una fila y
nuevamente como una columna, y cada celda en la matriz le indica la probabilidad de pasar del
estado de su fila al estado de su columna.

Si la cadena de Markov tiene N estados posibles, la matriz será una matriz N x N, de modo que la
entrada (I, J) es la probabilidad de pasar del estado I al estado J. Además, la matriz de transición
debe ser una matriz estocástica, una matriz cuyas entradas en cada fila deben sumar exactamente
1. ¿Por qué? Dado que cada fila representa su propia distribución de probabilidad.

Entonces, el modelo se caracteriza por un espacio de estado, una matriz de transición que
describe las probabilidades de transiciones particulares y un estado inicial a través del espacio de
estado, dado en la distribución inicial.

Muchas palabras, ¿eh?

Veamos un ejemplo simple para comprender los conceptos:

Cuando Cj está triste, lo cual no es muy habitual: ella sale a correr, toma un helado o toma una
siesta.

A partir de datos históricos, si ella pasó durmiendo un triste día lejos. Al día siguiente, es 60%
probable que salga a correr, 20% se quedará en la cama al día siguiente y 20% de posibilidades de
que tome un helado.

Cuando está triste y sale a correr, hay un 60% de posibilidades de que salga a correr al día
siguiente, un 30% se atiborra de helado y solo un 10% de posibilidades de que duerma al día
siguiente.

Finalmente, cuando se da un helado en un día triste, hay un 10% de posibilidades de que siga
teniendo helado al día siguiente, 70% de probabilidades de salir a correr y 20% de posibilidades de
que duerma el próximo. día.

La cadena de Markov representada en el diagrama de estado tiene 3 estados posibles: dormir,

correr, helado. Entonces, la matriz de transición será una matriz de 3 x 3. Observe que las flechas
que salen de un estado siempre suman exactamente 1, de manera similar, las entradas en cada fila
de la matriz de transición deben sumar exactamente 1, lo que representa la distribución de
probabilidad. En la matriz de transición, las celdas hacen el mismo trabajo que las flechas en el
diagrama de estado.

Ahora que ha visto el ejemplo, esto debería darle una idea de los diferentes conceptos
relacionados con una cadena de Markov. Pero, ¿cómo y dónde puedes usar estas teorías en la vida
real?

Con el ejemplo que ha visto, ahora puede responder preguntas como: "A partir del estado: dormir,
¿cuál es la probabilidad de que Cj se ejecute (estado: ejecutar) al final de una triste duración de 2
días?"

Vamos a resolver esto: para pasar del estado: dormir al estado: ejecutar, Cj debe permanecer en
estado: dormir el primer movimiento (o día), luego pasar al estado: ejecutar el siguiente (segundo)
movimiento (0.2 $ \ cdot $ 0.6); o pasar al estado: ejecutar el primer día y luego permanecer allí el
segundo (0.6 $ \ cdot $ 0.6) o ella podría hacer la transición al estado: helado en el primer
movimiento y luego al estado: ejecutar en el segundo (0.2 $ \ cdot $ 0.7). Entonces la
probabilidad: ((0.2 $ \ cdot $ 0.6) + (0.6 $ \ cdot $ 0.6) + (0.2 $ \ cdot $ 0.7)) = 0.62. Entonces,
ahora podemos decir que hay un 62% de posibilidades de que Cj se mueva al estado: correr
después de dos días de estar triste, si comenzó en el estado: dormir.⋅ 0.6); o pasar al estado:
ejecutar el primer día y luego permanecer allí el segundo (0.6⋅ 0.6) o ella podría pasar al estado:
helado en el primer movimiento y luego al estado: ejecutar en el segundo (0.2⋅ 0.7). Entonces la
probabilidad: ((0.2⋅ 0.6) + (0.6⋅ 0.6) + (0.2⋅ 0.7)) = 0.62. Entonces, ahora podemos decir que hay un
62% de posibilidades de que Cj se mueva al estado: correr después de dos días de estar triste, si
comenzó en el estado: dormir.

Con suerte, esto le dio una idea de las diversas preguntas que puede responder utilizando una red
de Cadena de Markov.
Además, con esto en mente, se hace más fácil entender algunas propiedades importantes de las
cadenas de Markov:

Reducibilidad: se dice que una cadena de Markov es irreducible si es posible llegar a cualquier
estado desde cualquier estado. En otras palabras, una cadena de Markov es irreducible si existe
una cadena de pasos entre dos estados que tiene probabilidad positiva.

Periodicidad: un estado en una cadena de Markov es periódico si la cadena puede regresar al

estado solo en múltiplos de algún número entero mayor que 1. Por lo tanto, comenzando en el
estado 'i', la cadena puede regresar a 'i' solo en múltiplos de período 'k', yk es el mayor entero de
este tipo. El estado 'i' es aperiódico si k = 1 y periódico si k> 1.

Transitoriedad y recurrencia: se dice que un estado 'i' es transitorio si, dado que comenzamos en
el estado 'i', existe una probabilidad distinta de cero de que nunca volvamos a 'i'. El estado i es
recurrente (o persistente) si no es transitorio. Un estado recurrente se conoce como recurrente
positivo si se espera que regrese dentro de un número finito de pasos y nulo recurrente de lo
contrario.

Ergodicidad: se dice que un estado 'i' es ergódico si es aperiódico y positivo recurrente. Si todos los
estados en una cadena de Markov irreducible son ergódicos, entonces se dice que la cadena es
ergódica.

Estado de absorción: un estado i se llama absorción si es imposible abandonar este estado. Por lo
tanto, el estado 'i' es absorbente si p ii = 1 y p ij = 0 para i ≠ j. Si cada estado puede alcanzar un
estado absorbente, entonces la cadena de Markov es una cadena de Markov absorbente.

Consejo : si también desea ver una explicación visual de las cadenas de Markov, asegúrese de
visitar esta página .

https://www.datacamp.com/community/tutorials/markov-chains-python-tutorial

PROCESO ESTOCASTICO
https://www.sciencedirect.com/topics/neuroscience/stochastic-processes
A.T. Bharucha-Reid (1960). “Elements Of The Theory of Markov Processes And
Their Applications”. McGraw Hill Series in Probability and Statistics.