Изучение марковских цепей

 

Целью лабораторной работы является изучение одной из задач математического моделирования – марковские цепи.

Задание:

Дана матрица переходных вероятностей марковской цепи с дискретным временем. Составить граф марковской цепи, найти вероятности переходов из одного состояния в другое за два шага. Определить финальные вероятности, если они существуют, а в противном случае доказать, что данная цепь не является регулярной.

Решение:

Для марковской цепи с тремя состояниями задана матрица вероятностей переходов за один шаг:

 

Составим  граф состояний

Рисунок 1 –  Граф состояний

Пусть . Найдем распределение вероятностей состояний на первом шаге

 

 

 

Найдем матрицу  вероятностей переходов на втором шаге

 

Найдем матрицу  вероятностей переходов на втором шаге

 

 

Распределение вероятностей состояний после четвертого, восьмого и шестнадцатого шагов  получим на компьютере:

 

 

 

Построим  график функции 

Рисунок 2 – График вероятностей переходов

 

 

 

 

 

k	P1(k)	P2(K)	P3(k)
0	1	0	0
1	0,50000	0,50000	0,00000
2	0,58333	0,41667	0,00000
3	0,56944	0,43056	0,00000
4	0,57176	0,42824	0,00000
5	0,57137	0,42863	0,00000
6	0,57144	0,42856	0,00000
7	0,57143	0,42857	0,00000
8	0,57143	0,42857	0,00000
9	0,57143	0,42857	0,00000
10	0,57143	0,42857	0,00000
11	0,57143	0,42857	0,00000
12	0,57143	0,42857	0,00000
13	0,57143	0,42857	0,00000
14	0,57143	0,42857	0,00000
15	0,57143	0,42857	0,00000
16	0,57143	0,42857	0,00000

 

Таблица 1 –  Таблица вероятностей переходов

Получим на компьютере стационарное распределение вероятностей:

-0,50	0,67	0,33
0,50	-0,67	0,33
1,00	1,00	1,00
0,78

                

                        =

 

0,00	0,67	0,33
0,00	-0,67	0,33
1,00	1,00	1,00
0,44

 

=

   

 

-0,50	0,00	0,33
0,50	0,00	0,33
1,00	1,00	1,00
0,33

                       

 

 

 

-0,50	0,67	0,00
0,50	-0,67	0,00
1,00	1,00	1,00
0,00

 

 

 

 

 

 

 

Так как предельные вероятности совпадают со стационарными, то значит марковская цепь регулярна. Это видно по таблице 1 и рисунку 2.