En este capítulo se introduce una clase de procesos estocásticos de tiempo continúo conocida como Procesos de nacimiento y muerte, muy comúnmente utilizados en el modelado de sistemas de cierta naturaleza. Por su estructura especial, es posible realizar el análisis de la distribución de probabilidades de estado estacionario de los procesos de nacimiento y muerte de forma muy sencilla. A continuación, se introducen primero los aspectos de diferentes tipos de sistemas que son susceptibles a ser modelados con procesos de nacimiento y muerte, después se proporciona una caracterización de esta clase de procesos, y finalmente se realiza el análisis en estado estacionario de la distribución de probabilidad correspondiente.
A menudo, el estudio de un sistema pasa a través del análisis de la dinámica de una población de entidades. Por ejemplo, cuando es de interés estudiar el número de clientes en un banco, la cantidad de individuos de una especie de animal en su hábitat, o el número de equipos en reparación en un sistema de producción, tenemos que caracterizar los eventos que resultan en el aumento de la población (p. ej., llegadas, reproducciones o fallas), así como aquellos que determinan una disminución de la población (p. ej. salidas, fallecimientos o reparaciones). A los eventos de la primera categoría se les refiere como nacimientos, y a aquellos de la segunda como muertes. Es así como un proceso estocástico que considere eventos de nacimiento y muerte se presta para modelar de manera adecuada la dinámica de una población de entidades.
:class: suggestion
Consideremos la población de ballenas jorobadas del
pacifico colombiano. Los individuos de esta especie son nómadas, y
recorren largas distancias desdé los fríos océanos de la Antártida hacia
las aguas al oeste de Colombia, donde se quedan por cierto periodo antes
de empezar la vuelta al sur del planeta. Si quisiéramos definir un
modelo que representara la dinámica de la población de ballenas en las
aguas colombianas, sería pertinente considerar como nacimientos, es
decir como eventos que incrementan el número de ballenas, las llegadas
de individuos al pacifico colombiano, y como muertes las salidas de los
individuos hacia la Antártida. Un posible modelo en tiempo continuo
sería por ejemplo la Cadena de Markov en tiempo continuo
$\left\{ X(t),t \geq 0 \right\}$, donde la variable de estado es:
$$X(t) = \ número\ de\ ballenas\ en\ el\ pacifico\ colombiano\ en\ el\ tiempo\ t.$$
Podemos suponer que no existe un límite superior para el número de
ballenas, por lo cual el espacio de estados del proceso estocástico será
$S_{X} = \{ 0,1,2,\ldots,\ \infty\}$. Supongamos ahora que las ballenas
llegan de acuerdo con un proceso de Poisson de parámetro $\lambda$, y se
quedan en promedio un tiempo que sigue una variable aleatoria
exponencial de tasa $\mu$. Así, la tasa de transición $q_{ij}$ entre el
estado $i$ y el estado $j$, tal que $i,j \in S_{X}$, $i \neq j$ se
define como:
$$q_{ij} = \left\{ \begin{matrix}
\lambda & j = i + 1 \\
i \cdot \mu & j = i - 1,\ i > 0 \\
0 & \text{d.l.c.}
\end{matrix} \right.\ $$
Para este modelo, el diagrama de tasas transición está representado en
la Figura 1:
El ejemplo que se presenta en la sección anterior es un caso particular de un proceso de nacimiento y muerte con espacio de estados infinito, y muestra algunas propiedades interesantes de esta clase de procesos. En particular, en la Figura 1 es posible observar la estructura particularmente simple de las transiciones, que pueden darse solo entre estados adyacentes, de tal forma que el diagrama de tasas de transición se puede ordenar como una cadena lineal de estados.
En general, un proceso de nacimiento y muerte es una Cadena de Markov en
tiempo continuo, con espacio de estados
Nótese que no necesariamente tiene que ser
Figura 3: Estructura tridiagonal de la matriz Q de tasas de transición para procesos de nacimiento y muerte.
:class: warning
La estructura tridiagonal de la matriz, que
permite reconocer que un proceso estocástico pertenece a la clase de los
procesos de nacimiento y muerte, se observa con un ordenamiento adecuado
de los estados. Una permutación de los estados (por ejemplo, el
ordenamiento $\{ 1,0,3,2,\ldots\}$ no permitiría apreciar la estructura
regular del proceso).
Para el análisis de un proceso de nacimiento y muerte se pueden utilizar todas las técnicas para Cadenas de Markov en tiempo de continuo. Si el proceso es ergódico, el análisis en el estado estacionario se vuelve particularmente sencillo, debido a la estructura regular del proceso.
Dado que un proceso de nacimiento y muerte es una Cadena de Markov en tiempo continuo, para que éste sea ergódico es necesario que satisfaga las siguientes condiciones (véase la nota de clase 6. Clasificación de estados):
-
Si el espacio de estado es finito, es necesario que sea irreducible.
-
Si el espacio de estados es infinito, es necesario que sea irreducible y que todos los estados sean recurrentes positivos.
En cuanto al punto 1, es fácil entender que, dada la particular
estructura del proceso, si
En el caso al punto 2, además de requerirse
Si la cadena es ergódica, es posible realizar el análisis para el cálculo de la distribución estacionaria de probabilidad, y debido a la particular estructura del proceso, este cálculo se lleva a cabo analíticamente obteniendo expresiones explicitas para las probabilidades estacionarias en función de las tasas de transición del proceso.
Sea
Para el análisis del estado estacionario, escribimos las ecuaciones de
balance. La ecuación para el estado 0 nos proporciona la siguiente
relación entre las probabilidades de estado estacionarias
La ecuación de balance para el estado 1 es:
Para el estado 2:
Comparando las dos ecuaciones anteriores, es fácil darse cuenta que
todas las ecuaciones desde el estado 1 hasta el estado n-1 tienen la
misma forma, razón por la cual es posible escribir una ecuación general
de balance para el estado
Finalmente, la ecuación de balance para el estado
Dada la forma de las ecuaciones, es posible encontrar su solución con un
procedimiento iterativo. De la ecuación (1) para el estado 0, hallamos
Repitiendo este proceso para la ecuación (3) se obtiene
Por ejemplo, para el estado
De modo que podemos escribir las probabilidades estacionarias de un
estado
La expresión (8) completa el cálculo de las probabilidades de estado estacionario, las cuales quedan determinadas para todo proceso de nacimiento muerte con espacio de estados finito. Al reemplazar los valores puntuales de las tasas para las probabilidades en las expresiones, se encuentran los valores de dichas probabilidades.
Si el espacio de estados de un proceso de nacimiento y muerte ergódico
es infinito, es válida la forma general de las ecuaciones del balance,
proporcionada por la expresión (4). Es decir, para todo estado
Para el estado 0, la ecuación del balance sigue siendo igual a la
expresión (1), y no habrá ecuaciones de otra forma, dado que no existe
un estado límite superior, como en el caso finito. El análisis procede
entonces de la misma manera, ya que es posible expresar cada
probabilidad estacionaria
En la normalización para el cálculo del
Aquí es importante observar que la ergodicidad de la cadena garantiza la
convergencia de la suma infinita en el denominador de la expresión (10)
que define el valor de
En el lado derecho de la expresión (11), la primera suma es finita, por
lo cual la suma total en el lado izquierdo será finita si y solo si la
segunda suma en el lado derecho es finita. Ahora bien, podemos encontrar
una cota superior al valor de
donde
Por lo anterior, el segundo término en el lado derecho de la expresión (11) es finito. Nótese que para obtener la última expresión en la expresión (13) hemos utilizado la fórmula para la suma de una serie geométrica.
:class: suggestion
Retomemos el ejemplo del proceso de nacimiento y muerte
que modela la población de ballenas, y determinemos la solución
estacionaria para las probabilidades de estado.
Observamos que el proceso es ergódico porque, para todo estado $i$,
$\lambda_{i} = \lambda > 0$ y $\mu_{i} = i \cdot \mu > 0$, por lo cual
la irreducibilidad de la cadena está asegurada. Además, la tasa con la
cual las ballenas abandonan la población es proporcional al número de
ballenas, mientras que la tasa de llegada es constante. Por ende, con
seguridad existe un estado del proceso después del cual la tasa de
muerte se vuelve mayor que la tasa de nacimiento (será el primer estado
$k$ para el cual $\lambda < k \cdot \mu$).
Con los resultados de la sección anterior, se pueden calcular
analíticamente las probabilidades en estado estacionario, $\pi_{j}$ para
todo $j \in S$, como $\pi_{j} = \pi_{0}c_{j}$, siendo el factor $c_{j}$:
$$c_{j} = \frac{\lambda^{j}}{\mu \bullet 2\mu \bullet 3\mu\cdots j\mu} = \frac{\lambda^{j}}{j!\mu^{j}} = \frac{1}{j!}\left( \frac{\lambda}{\mu} \right)^{j}$$
El valor del $\pi_{0}$ será:
$$\pi_{0} = \left( 1 + \sum_{j = 1}^{\infty}c_{j} \right)^{- 1} = \left( 1 + \sum_{j = 1}^{\infty}{\frac{1}{j!}\left( \frac{\lambda}{\mu} \right)^{j}} \right)^{- 1} = \left( \sum_{j = 0}^{\infty}{\frac{1}{j!}\left( \frac{\lambda}{\mu} \right)^{j}} \right)^{- 1} = \left( e^{\lambda/\mu} \right)^{- 1} = e^{- \lambda/\mu}.$$
Uniendo los resultados en las expresiones (14) y (15), se obtiene que la
distribución estacionaria de la probabilidad de estado para el modelo de
la población de ballenas es una $Poisson(\lambda/\mu).$