Kolmogorovljeve jednačine granične vjerovatnoće stanja. Granične vjerovatnoće stanja. Pronađite bruto proizvodnju za uravnoteženu diversifikovanu ekonomiju u modelu Leontijeva, ako su dati matrica direktnih troškova A i vektor finalne potrošnje Y

Neka postoji fizički sistem S sa diskretnim stanjima:

S 1 ,S 2 ,...,S n ,

u kojoj se javlja Markovljev slučajni proces sa kontinuiranim vremenom (neprekidni Markovljev lanac). Grafikon stanja je prikazan na sl. 23.

Pretpostavimo da su svi intenziteti tokova događaja koji prenose sistem iz stanja u stanje konstantni:

drugim riječima, svi tokovi događaja su najjednostavniji (stacionarni, Poissonovi) tokovi.

Zapisivanjem Kolmogorovljevog sistema diferencijalnih jednadžbi za vjerovatnoće stanja i integracijom ovih jednačina pod datim početnim uslovima, dobijamo vjerovatnoće stanja kao funkciju vremena, tj. n funkcija:

p 1 (t), p 2 (t),...,p n (t),

za bilo koji t daje ukupno jedan: .

Postavimo sada sledeće pitanje: šta će se desiti sa sistemom S u t®¥? Hoće li funkcije p 1 (t), p 2 (t),...,p n (t) težiti nekim granicama? Ove granice, ako postoje, nazivaju se graničnim (ili "konačnim") vjerovatnoćama stanja.

Sljedeća opšta tvrdnja se može dokazati. Ako je broj stanja sistema S konačan i može se ići iz svakog stanja (u određenom broju koraka) jedno u drugo, tada granične vjerovatnoće stanja postoje i ne zavise od početnog stanja sistema .

Na sl. Slika 24 prikazuje graf stanja koji zadovoljava navedeni uslov: iz bilo kojeg stanja sistem može prije ili kasnije preći u bilo koje drugo. Naprotiv, za sistem čiji je graf stanja prikazan na Sl. 25, uslov nije ispunjen. Očigledno je da ako je početno stanje takvog sistema S 1, onda se, na primjer, stanje S 6 na t®¥ može postići, ali ako je početno stanje S 2, ne može.

Pretpostavimo da je navedeni uslov ispunjen i da postoje granične vjerovatnoće:

(i = 1, 2,..., n). (6.1)

Granične vjerovatnoće ćemo označiti istim slovima p 1, p 2, ... p n kao vjerovatnoće samih stanja, što znači da ovoga puta ne dižemo promjenjive količine (funkcije vremena), već konstantne brojeve.

Očigledno, granične vjerovatnoće stanja, kao i one predograničavajuće, trebale bi sabrati jedan:

Dakle, na t®¥ u sistemu S uspostavlja se određeni ograničavajući stacionarni režim: on se sastoji u tome da sistem nasumično mijenja svoja stanja, ali vjerovatnoća svakog od njih više ne zavisi od vremena: svako od stanja se javlja sa određenom konstantnom vjerovatnoćom. Šta je značenje ove vjerovatnoće? To nije ništa drugo do prosječno relativno vrijeme u kojem sistem ostaje u datom stanju. Na primjer, ako sistem S tri moguća stanja: S 1, S 2 i S 3, a njihove granične vjerovatnoće su 0,2, 0,3 i 0,5, što znači da nakon prelaska u stabilno stanje sistem S u prosjeku će dvije desetine vremena biti u S 1 stanju, tri desetine će biti u S 2 stanju i polovina vremena će biti u S 3 stanju. Postavlja se pitanje: kako izračunati granične vjerovatnoće stanja p 1, p 2, ... p n?

Ispostavilo se da da biste to učinili, u sistemu Kolmogorovljevih jednačina koje opisuju vjerovatnoće stanja, trebate postaviti sve lijeve strane (derivacije) jednake nuli.

Zaista, u graničnom (stabilnom) modusu, sve vjerovatnoće stanja su konstantne, što znači da su njihovi derivati jednaki nuli.

Ako se sve leve strane Kolmogorovljevih jednačina za verovatnoće stanja postave na različite nule, onda će se sistem diferencijalnih jednačina pretvoriti u sistem linearnih algebarskih jednačina. Zajedno sa uslovom

(tzv. „uslov normalizacije“) ove jednadžbe omogućavaju izračunavanje svih graničnih vjerovatnoća

r 1, r 2, … r n

Primjer 1. Fizički sistem S ima moguća stanja: S l, S 2, S 3, S 4, čiji je označeni graf dat na sl. 26 (svaka strelica ima numeričku vrijednost odgovarajućeg intenziteta). Izračunajte granične vjerovatnoće stanja: p 1, p 2, p 3, p 4.

Rješenje. Pišemo Kolmogorovljeve jednačine za vjerovatnoće stanja:

(6.3)

Postavljanjem leve strane na nulu, dobijamo sistem algebarskih jednadžbi za granične verovatnoće stanja:

(6.4)

Jednačine (6.4) su takozvane homogene jednačine (bez slobodnog člana). Kao što je poznato iz algebre, ove jednačine određuju veličine p 1, p 2, p 3, p 4 samo do konstantnog faktora. Srećom, imamo uslov normalizacije:

p 1 + p 2 + p 3 + p 4 = 1, (6.5)

što zajedno sa jednačinama (64) omogućava pronalaženje svih nepoznatih vjerovatnoća.

Zaista, izrazimo iz (6.4) sve nepoznate vjerovatnoće kroz jednu od njih, na primjer, kroz p 1. Iz prve jednadžbe:

p 3 = 5p 1

Zamjenom u drugu jednačinu dobijamo:

p 2 = 2 p 1 + 2 p 3 = 12 p 1.

Četvrta jednačina daje:

p 4 = 1/2p 2 = 6 p 1 .

Zamjenom svih ovih izraza umjesto r 2 , r 3 , r 4 u uslov normalizacije (6.5) dobijamo

p 1 + 12p 1 + 5 p 1 + 6 p 1 = 1.

24 p 1 = 1, p 1 = 1/24, p 2 =12 p 1 = 1/2.

p 3 = 5p 1 = 5/24. p 4 = 6 p 1 = 1/4.

Tako se dobijaju granične verovatnoće stanja, one su jednake;

p 1 = 1/24, p 2 = 1/2, p 3 = 5/24, p 4 = 1/4 (6.6)

To znači da je u graničnom, stabilnom stanju, sistem Sće u prosjeku provesti jednu dvadeset četvrtu vremena u S 1 stanju, polovinu vremena u S 2 stanju, pet dvadeset četvrti u S 3 stanju i jednu četvrtinu vremena u S 4 stanju.

Napominjemo da pri rješavanju ovog problema uopće nismo koristili jednu od jednadžbi (6.4) – treću. Lako je vidjeti da je to posljedica ostale tri: sabiranjem sve četiri jednačine dobijamo identičnu nulu. S jednakim uspjehom, prilikom rješavanja sistema, mogli bismo odbaciti bilo koju od četiri jednačine (6.4).

Metoda koju smo koristili za sastavljanje algebarskih jednadžbi za granične vjerovatnoće stanja svodila se na sljedeće: prvo napisati diferencijalne jednadžbe, a zatim staviti njihove lijeve strane jednake nuli. Međutim, algebarske jednadžbe za granične vjerovatnoće možete pisati direktno, bez prolaska kroz diferencijalnu fazu. Ilustrirajmo to primjerom.

Primjer 2. Grafikon stanja sistema prikazan je na Sl. 27. Napišite algebarske jednačine za granične vjerovatnoće stanja.

Rješenje. Bez pisanja diferencijalnih jednadžbi, direktno zapisujemo odgovarajuće desne strane i izjednačavamo ih sa nulom; kako se ne bismo bavili negativnim pojmovima, odmah ih prenosimo u drugi dio, mijenjajući predznak:

(6.7)

Da biste u budućnosti odmah napisali takve jednadžbe, korisno je zapamtiti sljedeće mnemoničko pravilo: „ono što teče unutra, istječe“, to jest, za svako stanje, zbroj članova koji odgovaraju dolaznim strelicama jednak je zbir uslova koji odgovaraju odlazećim; svaki član je jednak intenzitetu toka događaja koji pomera sistem duž date strelice, pomnoženom sa verovatnoćom stanja iz kojeg strelica izlazi.

U nastavku ćemo u svim slučajevima koristiti upravo ovaj najkraći način pisanja jednačina za granične vjerovatnoće.

Primjer 3. Napisati algebarske jednačine za granične vjerovatnoće stanja sistema S, čiji je graf stanja prikazan na Sl. 28. Riješite ove jednačine.

Rješenje. Pišemo algebarske jednačine za granične vjerovatnoće stanja;

Stanje normalizacije;

p 1 + p 2 + p 3 = 1. (6.9)

Koristeći prve dvije jednačine (6.8), izražavamo p 2 i p 3 kroz p 1:

Zamenimo ih u uslov normalizacije (6.9):

gdje .

; .

Šta će se dogoditi sa vjerovatnoćama stanja kada će P 1 (t), P 2 (t), ... težiti nekim granicama? Ako ova ograničenja postoje i ne ovise o početnom stanju sistema, onda se nazivaju konačne vjerovatnoće stanja. U teoriji slučajnih procesa je dokazano da ako brojnstanja sistema su konačna i iz svakog od njih je moguće (u konačnom broju koraka) ići u bilo koje drugo, tada postoje konačne vjerovatnoće(ovaj uslov je dovoljan, ali nije neophodan za postojanje konačnih vjerovatnoća).

Pretpostavimo da je ovaj uslov ispunjen i da postoje konačne vjerovatnoće:

Označit ćemo ih istim slovima P 1 , P 2 , ... kao i same vjerovatnoće stanja, ali pod njima ne podrazumijevamo funkcije vremena, već konstantne brojeve. Očigledno, oni takođe zbrajaju jedan:

. (4.10)

Kako razumjeti ove konačne vjerovatnoće? At
u sistemu S se uspostavlja granični stacionarni režim, tokom kojeg sistem nasumično mijenja svoja stanja, ali njihove vjerovatnoće više ne zavise od vremena. Konačna vjerovatnoća stanja S i može se shvatiti kao prosječno relativno vrijeme kada sistem ostaje u ovom stanju.

Na primjer, ako sistem S ima tri stanja S 1, S 2, S 3 i njihove konačne vjerovatnoće su jednake 0,2; 0,3; 0,5, to znači da u graničnom stacionarnom režimu sistem u prosjeku provodi dvije desetine vremena u S1 stanju, tri desetine u S2 stanju i polovinu vremena u S3 stanju.

Kako izračunati konačne vjerovatnoće? Ako su vjerovatnoće P 1, P 2, ... konstantne, onda su njihovi derivati jednaki nuli. To znači da da biste pronašli konačne vjerovatnoće, morate sve lijeve strane u Kolmogorovljevim jednačinama postaviti jednakim nuli i riješiti rezultirajući sistem linearnih algebarskih jednadžbi umjesto diferencijalnih. Možete čak i odmah napisati sistem algebarskih jednačina koristeći graf stanja. Ako negativni član svake jednačine pomjerimo s desne strane na lijevu, odmah ćemo dobiti sistem jednačina, gdje je na lijevoj strani konačna vjerovatnoća datog stanja P i , pomnoženo ukupnim intenzitetom svih tokova,izlazak iz ovog stanja, a desno je zbir proizvoda intenziteta svih strujanja,uključeno u i – e država, na vjerovatnoćama stanja iz kojih ovi tokovi potiču.

Koristeći ovo pravilo, pišemo linearne algebarske jednačine za konačne vjerovatnoće stanja sistema; graf stanja je prikazan na Sl. 4.9:

(4.11)

Ovaj sistem od 4 jednačine sa 4 nepoznate P 0 , P 1 , P 2 , P 3 može se riješiti korištenjem tzv. stanje normalizacije:

, (4.12)

u ovom slučaju, jedna (bilo koja) jednačina se može odbaciti (slijedi kao posljedica ostalih).

Postavimo numeričke vrijednosti intenziteta λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 i riješimo sistem (4.11). Odbacimo četvrtu jednačinu i umjesto nje dodajmo uvjet normalizacije (4.12). Jednačine će imati oblik:

(4.13)

Rešavajući ih, dobijamo tj. u graničnom, stacionarnom režimu, sistem S će u prosjeku provesti 40% vremena u S 0 stanju (oba čvora rade), 20% u S 1 stanju (prvi čvor se popravlja, drugi radi ), 27% u stanju S 2 (drugi čvor je u remontu), prvi radi) i 13% je u stanju S 3 potpunog kvara (oba bloka su u remontu). Poznavanje ovih ograničavajućih vjerovatnoća može pomoći u procjeni prosječne efikasnosti sistema i radnog opterećenja dijelova za popravku. Pretpostavimo da sistem S u stanju S 0 donosi prihod 8 (konvencionalnih jedinica) po jedinici vremena, u stanju S 1 - prihod 3, u stanju S 2 - prihod 5, au stanju S 3 - nikakav prihod. Tada će, u ograničavajućem stacionarnom načinu rada, prosječni prihod po jedinici vremena biti . Sada procijenimo opterećenje tijela za popravku (radnika) zauzetih popravkom čvorova 1 i 2. Čvor 1 se popravlja u djeliću vremena jednakog Čvor 2 se popravlja u djeliću vremena
.

Ovdje se već može postaviti pitanje optimizacije rješenja. Recimo da možemo smanjiti prosječno vrijeme popravke jedne ili druge jedinice (ili možda oboje), ali će nas to koštati nešto novca. I potrebno je procijeniti da li će povećanje prihoda povezano s ubrzavanjem popravki isplatiti povećane troškove popravki? (za ovo ćete morati riješiti sistem od 4 jednačine sa 4 nepoznate).

Neka postoji sistem S sa diskretnim stanjima u kojima se Markovljev proces odvija u kontinuiranom vremenu.

Šta će se dogoditi sa sistemom S na t ® ¥? Hoće li funkcije p 1 (t), p 2 (t), ..., p n (t) težiti nekim granicama? Ove granice, ako postoje, nazivaju se granične (ili "konačne") vjerovatnoće stanja.

Sledeće se može dokazati opšti položaj :

Ako je broj stanja sistema S konačan i može se kretati iz svakog stanja (u određenom broju koraka) jedno u drugo, tada granične vjerovatnoće stanja postoje i ne zavise od početnog stanja sistema.

Pretpostavimo da je navedeni uslov ispunjen i da postoje granične vjerovatnoće:

Očigledno, granične vjerovatnoće stanja, kao i one pre-granične, trebale bi sabrati jedan:

Dakle, na t®¥ izvjesno ograničiti stacionarni način rada : sastoji se u činjenici da sistem nasumično mijenja svoja stanja, ali vjerovatnoća svakog od njih više ne zavisi od vremena. Šta je značenje vjerovatnoće? Ona predstavlja prosječno relativno vrijeme kada sistem ostaje u datom stanju .

Kako izračunati granične vjerovatnoće? U Kolmogorovljevom sistemu jednačina moramo sve izvode postaviti jednakim nuli.

Primjer 1 . Izračunajte granične vjerovatnoće za sistem:

Primjer 2 . Napišite jednačine za granične vjerovatnoće.

Primjer 3. Naći granične vjerovatnoće za sistem.

9. Proces “smrti i reprodukcije”.

Markovljev proces se naziva „procesom smrti i reprodukcije“ ako se njegov graf stanja proširi u lanac, tj. samo l n,n+1 i. l n,n-1 nisu jednaki nuli, tj. Samo gustoće vjerovatnoće prijelaza u susjedno stanje nisu nule.

Primjer 1 . Tehnički uređaj se sastoji od tri identične jedinice; svaki od njih može propasti (propasti); pokvareni uređaj odmah počinje da se oporavlja. Stanje sistema je numerisano brojem neispravnih čvorova.

U nastavku, za proces smrti i reprodukcije označićemo l n,n+1 =l n, l n,n-1 =m n.

Hajde da definišemo opštu šemu rešenja za procese smrti i reprodukcije. Napišimo algebarske jednačine za vjerovatnoće stanja

Za prvo stanje S 1 imamo:

l 1 p 1 =m 2 p 2

Za drugo stanje imamo:

l 2 p 2 +m 2 p 2 =l 1 p 1 +m 3 p 3

Ali na osnovu (9.1), možemo poništiti članove l 1 p 1 i m 2 p 2 jednake jedni drugima s desne i lijeve strane, dobijamo

l 3 p 3 =m 4 p 4

i općenito za sve k

l k p k =m k+1 p k+1 za k=1,2,..., n-1

Rešenje za ovaj sistem je:

p 1 +p 2 +....+p n = 1

Primjer 2 . Nađite granične vjerovatnoće stanja za proces smrti i reprodukcije pomoću grafa

Primjer 3 . Uređaj se sastoji od tri jedinice; tok kvarova je najjednostavniji, prosječno vrijeme rada bez otkaza svakog čvora je jednako T in. Pokvarena jedinica odmah počinje da se popravlja; prosječno vrijeme popravke (restauracije) čvora je t p ; zakon raspodjele ovog vremena je indikativan (tok restauracija je najjednostavniji). Pronađite prosječnu produktivnost uređaja ako je sa tri radna čvora jednaka 100%, sa dva - 50%, a sa jednim ili manje - uređaj uopće ne radi.

Razmotrimo matematički opis Markovljevog procesa sa diskretnim stanjima i kontinuiranim vremenom na primjeru slučajnog procesa iz prethodnog primjera, čiji je graf prikazan na Sl. 15. Pretpostavićemo da su svi prelazi sistema iz stanja S i V Sj nastaju pod uticajem jednostavnih tokova događaja sa intenzitetom ( i, j= 0, 1, 2, 3); Dakle, sistem prelazi iz stanja S 0 in S 1 će se dogoditi pod utjecajem toka kvara prvog čvora i obrnutog prijelaza iz stanja S 1 in S 0 - pod uticajem toka završetka popravki prvog čvora, itd.

Grafikon stanja sistema sa intenzitetima označenim strelicama će se zvati označenim (vidi sliku 3.1). Sistem koji se razmatra S ima četiri moguća stanja: S 0 ,S 1 , S 2 , S 3 .

Vjerovatnoća i-tog stanja je vjerovatnoća p i(t) šta trenutno t sistem će biti u stanju S,. Očigledno, za svaki trenutak t zbir vjerovatnoća svih stanja jednak je jedan:

Kolmogorovljev sistem diferencijalnih jednadžbi za vjerovatnoće stanja:

(3.2.)

Hajde da formulišemo pravilo za sastavljanje Kolmogorovljevih jednačina. Na lijevoj strani svakog od njih nalazi se izvod vjerovatnoće i-th state. Na desnoj strani je zbir proizvoda vjerovatnoća svih stanja (iz kojih strelice idu u dato stanje) sa intenzitetom odgovarajućih tokova događaja, umanjen za ukupni intenzitet svih tokova koji vode sistem iz dato stanje, pomnoženo sa vjerovatnoćom datog (1. stanja).

U sistemu (3.2) postoji jedna nezavisna jednačina manje od ukupnog broja jednačina. Stoga je za rješavanje sistema potrebno dodati jednačinu (3.1).

Posebnost rješavanja diferencijalnih jednačina općenito je u tome što je potrebno postaviti tzv. početne uslove, tj. u ovom slučaju, vjerovatnoće stanja sistema u početnom trenutku t= 0. Tako je, na primjer, prirodno riješiti sistem jednadžbi (15.9) pod uslovom da su u početnom trenutku oba tima slobodna i da je sistem bio u stanju S 0, tj. u početnim uslovima str 0 (0) = 1, str 1 (0) = 0, str 2 (0) = 0, str 3 (0) = 0.

Kolmogorovljeve jednačine omogućavaju pronalaženje svih vjerovatnoća stanja kao funkcije vremena. Od posebnog interesa su vjerovatnoće sistema p i(t) u graničnom stacionarnom režimu, tj. na , koje se nazivaju granične (ili konačne) vjerovatnoće stanja.

U teoriji slučajnih procesa dokazano je da ako je broj stanja sistema konačan i iz svakog od njih je moguće (u konačnom broju koraka) prijeći u bilo koje drugo stanje, tada postoje granične vjerovatnoće.

Granična vjerovatnoća stanja S, ima jasno značenje: pokazuje prosječno relativno vrijeme u kojem sistem ostaje u ovom stanju. Na primjer, ako je granična vjerovatnoća stanja S 0 tj. R 0 = 0,5, to znači da je u prosjeku polovina vremena sistem u stanju S 0 .

Kako su granične vjerovatnoće konstantne, zamjenom njihovih izvoda u Kolmogorovljevim jednačinama sa nultim vrijednostima, dobijamo sistem linearnih algebarskih jednačina koji opisuju stacionarni režim. Za sistem S sa grafom stanja prikazanim na Sl. 3.2), takav sistem jednačina ima oblik:

(3.3)

Sistem (4.3) se može kompajlirati direktno iz označenog grafa stanja ako se vodi pravilo da je na lijevoj strani jednadžbe granična vjerovatnoća datog stanja p„ pomnožena ukupnim intenzitetom svih tokova koji vode iz datog stanja. stanje, a desno je zbir proizvoda intenziteta svih tokova koji ulaze u 1. stanje, na vjerovatnoću onih stanja iz kojih ti tokovi dolaze.

Asimptotske procjene u skladu sa dobro poznatom teoremom A.A. Markovi lanci se mogu dobiti za Markove lance koji imaju ergodičko svojstvo.

Definicija 1. Ako je broj stanja sistema konačan i može se ići iz svakog stanja u bilo koje drugo u proizvoljnom broju koraka, onda se kaže da takav sistem ima ergodičko svojstvo.

Definicija 2. Neka je Markovljev proces okarakterisan verovatnoćama prelaska iz stanja i u stanje j u vremenu t

p ij (t) (0?i?n; 0?j?n).

Proces se naziva tranzitivnim ako postoji t>0 takav da je p ij (t)>0 (0?i?n; 0?j?n). Iz definicija 1 i 2 slijedi da su procesi u Markovim lancima sa ergodičkim svojstvom tranzitivni.

Markova teorema. Za bilo koji tranzitivni Markovljev proces, granica postoji i ne zavisi od početnog stanja.

To znači da na t?? u sistemu se uspostavlja određeni ograničavajući stacionarni režim, koji karakteriše konstantna, vremenski nezavisna verovatnoća svakog od stanja sistema. U ovom slučaju, ova vjerovatnoća predstavlja prosječno relativno vrijeme u kojem sistem ostaje u datom stanju. To znači da ako je vrijeme rada cijelog sistema 100 sati, a vjerovatnoća stanja S 1 jednaka p 1 = 0,15, onda će sistem biti u stanju S 1 u prosjeku 15 sati.

Granice do kojih vjerovatnoće svakog od stanja Markovljevog lanca sa ergodičkim svojstvom teže kao t?? nazivaju se granične vjerovatnoće. Kada razmatramo QS bavićemo se samo ergodičkim Markovim lancima. Neka je V podskup skupa stanja sistema S, a V’ njegov komplement za S. Ako skup V ima ergodičko svojstvo i ne može se preći iz bilo kojeg stanja skupa V u bilo koje od stanja skupa V’, tada se skup naziva zatvorenim ili ergodičkim skupom. Ergodički sistemi se sastoje od jednog ergodičkog skupa (S=V, V’=?) i stoga se nazivaju nerazložljivi. Ako u sistemu S postoji skup V"?? ili u ovom sistemu može se razlikovati nekoliko ergodičkih skupova S = V 1 ?V 2 ?...?V n, onda se takav sistem naziva razložljivim. Primeri takvih sistema prikazani su na slici 1.3.

Slika 1.3a prikazuje sistem sa dva ergodička skupa V 1 = (S 2 , S 3 , S 4) i V 2 (S 5 , S 6). Na slici 1.3,b, ergodički skup se sastoji od samo jednog stanja (S 4). Ako se ergodički skup sastoji od samo jednog stanja, onda se ovo stanje naziva apsorbirajuće, jer kada jednom uđe u njega, proces ostaje zauvijek u apsorbirajućem stanju. Karakteristična karakteristika grafa stanja nerazložljivog ergodičkog Markovljevog sistema je da je svaki vrh ovog grafa incidentan sa lukovima sa pozitivnim i negativnim upadom (tj., svaki vrh ima lukove usmerene i prema i od vrha, vidi ., za primjer, slike 1.1 i 1.2).

Proračun graničnih vjerovatnoća stanja za takve sisteme je pojednostavljen zbog činjenice da, pošto su sve ove vjerovatnoće konstantne vrijednosti, njihove vremenske derivacije su jednake 0 (dp i /dt = 0 za sve i). Stoga su leve strane Kolmogorovljevog sistema jednačina (1.7) jednake nuli i on se pretvara u sistem linearnih algebarskih jednačina

Netrivijalno rješenje sistema (1.8) može se dobiti samo u slučaju degeneracije matrice?. Gore je dokazano da je matrica gustine vjerovatnoće? je degenerisan. Sistem (1.8) bez jedne od njegovih jednačina dopunjen je uslovom normalizacije

Relacije (1.8) i (1.9) nam omogućavaju da odredimo granične vjerovatnoće stanja. Budući da je dio pojmova koji odgovara lukovima s negativnim upadom pozitivan, a drugi dio koji odgovara lukovima s pozitivnim incidencijom negativan, onda se svaka jednačina sistema (1.8) može sastaviti uzimajući u obzir mnemoničko pravilo: za svako stanje, zbir članova koji odgovaraju ulaznim lukovima jednak je zbiru članova koji odgovaraju izlaznim lukovima.

Primjer. Za sistem prikazan na slici 1.2, iz Kolmogorovljevih jednačina (1.7) slijedi

(? 12 +? 13)p 1 =? 41 p 4 (? 41 +? 45) p 4 =? 34 str. 3
? 25 p 1 =? 12 p 1 +? 32 p 3 ? 53 p 3 =? 52 p 2 +? 45p4
(? 3 2 +? 3 4)p 4 =? 13 p 1 +? 5 3 p 5 (1.10)

Za rješavanje (1.10) potrebno je isključiti bilo koju od prvih pet jednačina (na primjer, petu koja sadrži najveći broj članova).

Granične vjerovatnoće stanja se u TMT-u mnogo češće koriste od rješenja Kolmogorovljevih jednačina, a poznavajući rješenje sistema Kolmogorovljevih jednačina, moguće je odrediti trenutak završetka procesa tranzicije promjene vjerovatnoća stanja preko vrijeme. Ovo omogućava da se izračuna vremenski period, počevši od uključivanja sistema u rad, nakon kojeg će vjerovatnoće stanja dostići svoje granične vrijednosti i procjene koje koriste ove vrijednosti će biti važeće. Da zaključimo ovaj odeljak, razmotrimo jednu posebnu, ali praktično veoma važnu klasu Markovljevih procesa koji se široko koriste u proučavanju QS. To su procesi “reprodukcije i smrti”. Ovo uključuje Markovljeve lance, predstavljene označenim grafom, koji se sastoji od izduženog lanca stanja, prikazanog na slici 1.4.

Matrica gustine vjerovatnoće prijelaza takvog sistema je jakobijanska (tridijagonalna):

Uzimajući u obzir početno stanje S 0 , dobijamo u skladu sa (1.8)

01 p 0 =? 10 p 1 (1.11)

Za stanje S 1 imamo

01 p 0 +? 21 p 2 =? 10 p 1 +? 12 p 1 (1.12)

Oduzimanjem jednakosti (1.11) od (1.12), dobijamo

21 p 2 = ? 12 p 1 (1.13)

Nastavljajući ovaj proces do n-stanja uključujući, dobijamo

N , n -1 p n =? n -1, n p n -1

Iz (1.11) sada možemo izraziti p 1 u terminima p 0:

p 1 =p 0 (? 01 /? 10) (1.14)

Zamjenom (1.14) u (1.13) dobijamo

p 2 =p 0 (? 01 ? 12 /? 10 ? 21)

Očigledno, za proizvoljan k (1?k?n) izraz će vrijediti

U skladu sa (1.15) i označenim grafom stanja prikazanim na slici 1.4, moguće je formulisati pravilo kojim se mogu izraziti granične verovatnoće stanja procesa „reprodukcije i smrti“ kroz verovatnoću početnog stanja. p 0 . Ovo pravilo glasi: vjerovatnoća proizvoljnog stanja p k (l?k?n) jednaka je vjerovatnoći početnog stanja p 0, pomnoženoj s razlomkom, čiji je brojilac jednak proizvodu gustoće vjerovatnoće prelaza za lukove prenos stanja sistema s lijeva na desno, a nazivnik je proizvod gustina vjerovatnoće prijelaza s desna na lijevo iz početnog u k-to stanje uključujući.

Verovatnoća p 0 se nalazi iz uslova normalizacije i izraza (1.15) kako sledi:

Izrazi (1.15) i (1.16) u potpunosti određuju granične vjerovatnoće procesa „reprodukcije i smrti“.