Цепь Маркова (простая)

Цепь Маркова — это последовательность испытаний, в каждом из которых может произойти одно и только одно из ( k ) событий, причём условная вероятность наступления события в ((s+1))-м испытании (где ( s = 1, 2, 3, \dots )) после того, как в ( s )-м испытании произошло определённое событие, зависит только от того, каким было событие в ( s )-м испытании, и не зависит от того, какие события происходили в более ранних испытаниях.

• Вероятности перехода — это вероятности перехода из одного состояния в другое. Если эти вероятности не зависят от номера испытания ( s ), цепь называется однородной.
• Множество вероятностей записывается в виде матрицы переходов.
• Вероятности перехода за ( n ) шагов удовлетворяют уравнению Маркова — Чемпена — Колмогорова: [ P_{ij}^{{(n+m)} = \sum_k P_{ik}}{(n)} P_{kj}^{(m)}, ] где ( k ) — число состояний.

Кроме простых цепей Маркова, рассматривают цепи 2-го, 3-го и более высоких порядков, когда вероятность наступления события в данном испытании зависит от результатов 2, 3 и т. д. предыдущих испытаний. Также изучаются цепи Маркова с непрерывным временем и конечным числом состояний. В случае непрерывного времени и произвольного множества состояний имеем марковский процесс.

Применение в науках о Земле: последовательность слоёв в разрезах флиша, последовательность эксплозий вулканов, последовательность зёрен в шлифах во многих случаях неотличимы от цепей Маркова. Это позволяет выяснить специфику процессов, вызвавших появление соответствующих последовательностей (Вистелиус, 1966; Феллер, 1964).

Источники: Г. С. Лельчук, М. Г. Романова.