1 / 17

Cadenas de Markov

Cadenas de Markov. Proceso estocástico Cadena de Markov Estado Transición. Probabilidad de transición Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en el estado i. P{ X t + 1 = j / X t = i }. Probabilidades estacionarias de un paso

hamlet
Download Presentation

Cadenas de Markov

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript


  1. Cadenas de Markov Proceso estocástico Cadena de Markov Estado Transición

  2. Probabilidad de transición Es la probabilidad que ocurra la transición del estado i al estado j, dado que se está en el estado i. P{ X t + 1 = j / X t = i }

  3. Probabilidades estacionarias de un paso Si para cada i y j se cumple: P{ X t + 1 = j / X t = i } = P{ X 1 = j / X 0 = i } entonces, se dice que las probabilidades de un paso son estacionarias Notación: Pij

  4. Probabilidad de transición en n pasos P{ X t + n = j / X t = i } = P{ X n = j / X 0 = i } Notación: Pij(n)

  5. Propiedades de Pij(n) • Pij(n) ≥ 0 para todo i, j y n = 0, 1, 2, … • S Pij(n) = 1para todo i, j de 0 a M, y n = 0, 1, 2, …

  6. Notación matricial, P (n)

  7. Ecuaciones de Chapman - Kolmogorov Permite calcular la probabilidad de transición en n pasos • Pij(n) = S Pik(m) Pkj(n-m) para todo i, j, n, 0 ≤ m ≤ n, y la sumatoria desde k=0, hasta k=M

  8. La matriz de probabilidades de transición de n pasos se pueden obtener a partir de la matriz de probabilidades de transición de un paso • P(n) = P * P * P * …. * P = P(n-1) * P

  9. Clasificación de estados • Definiciones: Accesibles Comunicados • Si dos estados se comunican, pertenecen a la misma clase • Si todos los estados pertenecen a la misma clase, entonces la cadena es irreducible

  10. fii = probabilidad de que el proceso regrese al estado i, dado que comienza en el estado i. • Estado recurrente: fii = 1 • Estado transitorio: fii < 1 • Estado absorbente: pii = 1

  11. Tiempos de primera pasada • El número de transiciones que hace el proceso al ir de un estado i a un estado j por primera vez, es el tiempo de primera pasada • Cuando j = i, se habla de tiempo de recurrencia para el estado i

  12. mij = tiempo esperado de primera pasada • mij = infinito, si S fii (n) < 1 • mij = S n * fii (n), si S fii (n) = 1

  13. Cuando S fii (n) = 1, se satisface la ecuación: • mij = 1 + S { pik * mkj } donde la sumatoria varía para todo k distinto de j • Cuando i = j, mij se llama tiempo esperado de recurrencia

  14. Probabilidades de Estado Estable • Es la probabilidad de que le sistema se encuentra en el estado j, independiente del estado inicial • pj = lim pij(n) , con n tendiendo al infinito • pi = 1 / mii

  15. Ecuaciones de estado estable • pj = S pj * pij para j = 0, 1, …, M y la sumatoria variando de i = 0, 1, …, M • S pj = 1

  16. Estados Absorbentes • Si k es un estado absorbente, y el proceso comienza en el estado i, la probabilidad de llegar en algún momento a k se llama probabilidad de absorción • Notación: fik

  17. Ecuaciones: fik = S pij * fjk para todo i = 0, 1, …, M; y la sumatoria variando de j = 0 hasta M La ecuación anterior está sujeto a: • fkk = 1 • fik = 0, si el estado i es recurrente, y además i es distinto de k

More Related