Ecuații Kolmogorov care limitează probabilitățile stărilor. Limitarea probabilităților stărilor. Găsiți producția brută pentru o economie diversificată echilibrată în modelul Leontief, dacă sunt date matricea costurilor directe A și vectorul consumului final Y

Să existe un sistem fizic S cu stări discrete:

S 1 ,S 2 ,...,S n ,

în care are loc un proces aleator Markov cu timp continuu(lanțul Markov continuu). Graficul de stare este prezentat în Fig. 23.

Să presupunem că toate intensitățile fluxurilor de evenimente care transferă sistemul de la o stare la alta sunt constante:

cu alte cuvinte, toate fluxurile de evenimente sunt cele mai simple fluxuri (staționare, Poisson).

Prin înregistrarea sistemului ecuații diferențiale Kolmogorov pentru probabilitățile stărilor și integrând aceste ecuații în condiții inițiale date, obținem probabilitățile stărilor în funcție de timp, adică n funcții:

p 1 (t), p 2 (t),...,p n (t),

pentru orice t dând în total unul: .

Să o punem acum următoarea întrebare: ce se va întâmpla cu sistemul S la t®¥? Funcțiile p 1 (t), p 2 (t),…,p n (t) vor tinde către anumite limite? Aceste limite, dacă există, se numesc probabilități de stare limită (sau „finală”).

Următoarea propoziție generală poate fi dovedită. Dacă numărul de stări ale sistemului S este finit și din fiecare stare este posibilă trecerea (într-un anumit număr de pași) una la alta, atunci probabilitățile limită ale stărilor există și nu depind de starea inițială a stărilor. sistem .

În fig. Figura 24 prezintă un grafic de stare care satisface condiția enunțată: din orice stare sistemul se poate muta mai devreme sau mai târziu în oricare alta. Dimpotrivă, pentru un sistem al cărui grafic de stare este prezentat în Fig. 25, condiția nu este îndeplinită. Este evident că dacă starea inițială a unui astfel de sistem este S 1, atunci, de exemplu, starea S 6 la t®¥ poate fi atinsă, dar dacă starea inițială este S 2, nu se poate.

Să presupunem că condiția enunțată este îndeplinită și că există probabilități limită:

(i = 1, 2,..., n). (6,1)

Limita probabilităților vom nota cu aceleași litere p 1, p 2, ... p n ca probabilitățile stărilor în sine, adică de data aceasta ridicăm nu mărimi variabile (funcții ale timpului), ci numere constante.

Evident, probabilitățile limitative ale statului, precum și cele prelimitatoare, ar trebui să se adună la unu:

Astfel, la t®¥ în sistem S se stabilește un anumit regim staționar limitativ: constă în faptul că sistemul își schimbă aleator stările, dar probabilitatea fiecăreia dintre ele nu mai depinde de timp: fiecare dintre stări se produce cu o anumită probabilitate constantă. Care este sensul acestei probabilități? Nu este nimic mai mult decât timpul relativ mediu în care sistemul rămâne într-o stare dată. De exemplu, dacă sistemul S trei stări posibile: S 1, S 2 și S 3, iar probabilitățile lor limită sunt 0,2, 0,3 și 0,5, asta înseamnă că după trecerea la starea de echilibru sistemul Sîn medie, două zecimi din timp vor fi în starea S 1, trei zecimi vor fi în starea S 2 și jumătate din timp vor fi în starea S 3. Apare întrebarea: cum se calculează probabilitățile limită ale stărilor p 1, p 2, ... p n?

Se pare că pentru a face acest lucru, în sistemul de ecuații Kolmogorov care descriu probabilitățile stărilor, trebuie să puneți toate părțile din stânga (derivate) egal cu zero.

Într-adevăr, în modul limită (în mod constant), toate probabilitățile de stare sunt constante, ceea ce înseamnă că derivatele lor sunt egale cu zero.

Dacă toate părțile din stânga ale ecuațiilor Kolmogorov pentru probabilitățile de stare sunt setate la zerouri diferite, atunci sistemul de ecuații diferențiale se va transforma într-un sistem de ecuații algebrice liniare. Împreună cu condiția

(așa-numita „condiție de normalizare”) aceste ecuații fac posibilă calcularea tuturor probabilităților limită

р 1, р 2, … р n

Exemplul 1. Sistemul fizic S are posibile stări: S l, S 2, S 3, S 4, al căror grafic marcat este dat în Fig. 26 (fiecare săgeată are o valoare numerică a intensității corespunzătoare). Calculați probabilitățile limită ale stărilor: p 1, p 2, p 3, p 4.

Soluţie. Scriem ecuațiile Kolmogorov pentru probabilitățile stărilor:

(6.3)

Setând laturile din stânga egale cu zero, obținem un sistem de ecuații algebrice pentru probabilitățile limită ale stărilor:

(6.4)

Ecuațiile (6.4) – așa-numitele ecuații omogene(fără membru gratuit). După cum se știe din algebră, aceste ecuații determină mărimile p 1, p 2, p 3, p 4 numai până la un factor constant. Din fericire, avem o condiție de normalizare:

p 1 + p 2 + p 3 + p 4 = 1, (6.5)

care, împreună cu ecuațiile (64), face posibilă găsirea tuturor probabilităților necunoscute.

Într-adevăr, să exprimăm din (6.4) toate probabilitățile necunoscute printr-una dintre ele, de exemplu, prin p 1. Din prima ecuație:

p 3 = 5p 1

Înlocuind în a doua ecuație, obținem:

p 2 = 2 p 1 + 2 p 3 = 12 p 1.

A patra ecuație dă:

p 4 = 1/2p 2 = 6 p 1 .

Înlocuind toate aceste expresii în loc de р 2 , р 3 , р 4 în condiția de normalizare (6.5), obținem

p 1 + 12p 1 + 5 p 1 + 6 p 1 = 1.

24 p 1 = 1, p 1 = 1/24, p 2 = 12p 1 = 1/2.

p 3 = 5p 1 = 5/24. p 4 = 6 p 1 = 1/4.

Astfel, se obțin probabilitățile limită ale stărilor, ele sunt egale;

p 1 = 1/24, p 2 = 1/2, p 3 = 5/24, p 4 = 1/4 (6.6)

Aceasta înseamnă că în stare limită, de echilibru, sistemul S va petrece în medie o douăzeci și patru din timp în starea S 1, jumătate din timp în starea S 2, cinci douăzeci și patru din timp în starea S 3 și un sfert din timp în starea S 4.

Rețineți că atunci când am rezolvat această problemă, nu am folosit deloc una dintre ecuațiile (6.4) - a treia. Este ușor de observat că este o consecință a celorlalte trei: adunând toate cele patru ecuații, obținem zero identic. Cu același succes, atunci când rezolvăm sistemul, am putea renunța la oricare dintre cele patru ecuații (6.4).

Metoda pe care am folosit-o pentru alcătuirea ecuațiilor algebrice pentru limitarea probabilităților stărilor s-a rezumat la următoarele: mai întâi scrieți ecuații diferențiale, apoi puneți părțile din stânga în ele egale cu zero. Cu toate acestea, puteți scrie ecuații algebrice pentru limitarea probabilităților direct. fără a trece prin stadiul diferenţial. Să ilustrăm acest lucru cu un exemplu.

Exemplul 2. Graficul stării sistemului este prezentat în Fig. 27. Scrieți ecuații algebrice pentru probabilitățile limită ale stărilor.

Soluţie. Fără a scrie ecuații diferențiale, scriem direct părțile din dreapta corespunzătoare și le echivalăm cu zero; pentru a nu face față termenilor negativi, îi transferăm imediat în altă parte, schimbând semnul:

(6.7)

Pentru a scrie imediat astfel de ecuații în viitor, este util să ne amintim următoarea regulă mnemonică: „ceea ce intră, iese”, adică pentru fiecare stare, suma termenilor corespunzători săgeților de intrare este egală cu suma termenilor corespunzători celor care ies; fiecare termen este egal cu intensitatea fluxului de evenimente care mișcă sistemul de-a lungul unei săgeți date, înmulțită cu probabilitatea stării din care iese săgeata.

În cele ce urmează, în toate cazurile vom folosi tocmai această modalitate scurtă de scriere a ecuațiilor pentru limitarea probabilităților.

Exemplul 3. Scrieți ecuații algebrice pentru probabilitățile limită ale stărilor sistemului S, al cărui grafic de stare este prezentat în Fig. 28. Rezolvați aceste ecuații.

Soluţie. Scriem ecuații algebrice pentru probabilitățile limită ale stărilor;

starea de normalizare;

p 1 + p 2 + p 3 = 1. (6.9)

Folosind primele două ecuații (6.8), exprimăm p 2 și p 3 prin p 1:

Să le substituim în condiția de normalizare (6.9):

unde .

; .

Ce se va întâmpla cu probabilitățile stărilor când P 1 (t), P 2 (t), ... vor tinde către anumite limite? Dacă aceste limite există și nu depind de starea inițială a sistemului, atunci ele sunt numite probabilităţile finale ale stărilor. În teorie procese aleatorii este dovedit că dacă numărnstările sistemului sunt finite și din fiecare dintre ele este posibil (într-un număr finit de pași) să se treacă la oricare alta, atunci probabilitățile finale există(această condiție este suficientă, dar nu necesară pentru existența probabilităților finale).

Să presupunem că această condiție este îndeplinită și că există probabilitățile finale:

Le vom desemna cu aceleași litere P 1 , P 2 , ... ca probabilitățile de stare în sine, dar prin ele înțelegem nu funcții de timp, ci numere constante. Evident, se adună și la unul:

. (4.10)

Cum să înțelegeți aceste probabilități finale? La
în sistemul S se stabilește un regim staționar limitativ, în timpul căruia sistemul își schimbă aleatoriu stările, dar probabilitățile lor nu mai depind de timp. Probabilitatea finală a stării S i poate fi înțeleasă ca timpul relativ mediu în care sistemul rămâne în această stare.

De exemplu, dacă sistemul S are trei stări S 1, S 2, S 3 și probabilitățile lor finale sunt egale cu 0,2; 0,3; 0,5, aceasta înseamnă că în modul staționar limitator sistemul petrece în medie două zecimi din timp în starea S1, trei zecimi în starea S2 și jumătate din timp în starea S3.

Cum se calculează probabilitățile finale? Dacă probabilitățile P 1, P 2, ... sunt constante, atunci derivatele lor sunt egale cu zero. Aceasta înseamnă că, pentru a găsi probabilitățile finale, trebuie să setați toate părțile din stânga din ecuațiile lui Kolmogorov egale cu zero și să rezolvați sistemul rezultat de ecuații algebrice liniare, mai degrabă decât cele diferențiale. Puteți chiar să scrieți imediat un sistem de ecuații algebrice folosind graficul de stare. Dacă mutam termenul negativ al fiecărei ecuații din partea dreaptă la stânga, obținem imediat un sistem de ecuații, unde în stânga este probabilitatea finală a unei stări date. P i , înmulțit cu intensitatea totală a tuturor fluxurilor,ieșind din această stare, iar în dreapta este suma produselor intensităților tuturor fluxurilor,incluse în i – e stat, asupra probabilităţilor stărilor din care emană aceste fluxuri.

Folosind această regulă, scriem ecuații algebrice liniare pentru probabilitățile finale ale stărilor sistemului, graficul de stare este prezentat în Fig. 4.9:

(4.11)

Acest sistem de 4 ecuații cu 4 necunoscute P 0 , P 1 , P 2 , P 3 poate fi rezolvat folosind așa-numitul stare de normalizare:

, (4.12)

în acest caz, una (oricare) ecuații poate fi aruncată (urmează ca o consecință a celorlalte).

Să setăm valorile numerice ale intensităților λ 1 =1, λ 2 =2, μ 1 =2, μ 2 =3 și să rezolvăm sistemul (4.11). Să renunțăm la a patra ecuație și să adăugăm în schimb condiția de normalizare (4.12). Ecuațiile vor lua forma:

(4.13)

Rezolvându-le, obținem i.e. în modul de limitare, staționar, sistemul S va petrece în medie 40% din timp în starea S 0 (ambele noduri funcționează), 20% în starea S 1 (primul nod este reparat, al doilea funcționează ), 27% sunt în stare S 2 (al doilea nod este în curs de reparare), primul funcționează) și 13% sunt în stare S 3 de complet deteriorare (ambele unități sunt în curs de reparare). Cunoașterea acestor probabilități limitatoare poate ajuta la estimarea eficienței medii a sistemului și a volumului de muncă al pieselor reparate. Să presupunem că sistemul S în starea S 0 aduce venituri 8 (unități convenționale) pe unitatea de timp, în starea S 1 - venit 3, în starea S 2 - venit 5, iar în starea S 3 - niciun venit. Apoi, în modul staționar limitator, venitul mediu pe unitatea de timp va fi . Acum să estimăm volumul de muncă al unităților de reparații (lucrătorilor) ocupate cu repararea nodurilor 1 și 2. Nodul 1 este reparat pentru o fracțiune de timp egală cu Nodul 2 este reparat o fracțiune din timp
.

Aici se poate pune deja problema optimizării soluției. Să presupunem că putem reduce timpul mediu de reparație al uneia sau alteia unități (sau poate ambelor), dar asta ne va costa niște bani. Și este necesar să se evalueze dacă creșterea veniturilor asociată cu accelerarea reparațiilor va compensa costurile crescute ale reparațiilor? (pentru aceasta va trebui să rezolvați un sistem de 4 ecuații cu 4 necunoscute).

Să fie un sistem S cu stări discrete în care un proces Markov are loc în timp continuu.

Ce se va întâmpla cu sistemul S la t ® ¥ ? Funcțiile p 1 (t), p 2 (t), ..., p n (t) vor tinde către anumite limite? Aceste limite, dacă există, se numesc probabilități limită (sau „finale”) ale stărilor.

Următoarele pot fi dovedite pozitia generala :

Dacă numărul de stări ale sistemului S este finit și se poate trece de la fiecare stare (într-un anumit număr de pași) una la alta, atunci probabilitățile limită ale stărilor există și nu depind de starea inițială a sistemului.

Să presupunem că condiția enunțată este îndeplinită și că există probabilități limită:

Evident, probabilitățile limită ale stărilor, precum și cele prelimitatoare, ar trebui să se adună la unu:

Astfel, la t®¥ un anumit limitează modul staționar : constă în faptul că sistemul își schimbă aleatoriu stările, dar probabilitatea fiecăreia dintre ele nu mai depinde de timp. Care este sensul probabilității? Ea reprezintă timpul relativ mediu în care sistemul rămâne într-o stare dată .

Cum se calculează probabilitățile marginale? În sistemul de ecuații Kolmogorov, trebuie să setăm toate derivatele egale cu zero.

Exemplul 1 . Calculați probabilitățile limită pentru sistem:

Exemplul 2 . Scrieți ecuații pentru probabilitățile marginale.

Exemplul 3. Găsiți probabilitățile limită pentru sistem.

9. Procesul de „moarte și reproducere”.

Un proces Markov este numit „proces de moarte și reproducere” dacă graficul său de stare este extins într-un lanț, de exemplu. numai l n,n+1 și. l n,n-1 nu sunt egale cu zero, i.e. Doar densitățile de probabilitate de tranziție la o stare vecină nu sunt zero.

Exemplul 1 . Dispozitivul tehnic este format din trei unități identice; fiecare dintre ele poate eșua (eșua); dispozitivul eșuat începe imediat să se recupereze. Numerotăm starea sistemului după numărul de noduri defecte.

În cele ce urmează, pentru procesul morții și reproducerii vom nota l n,n+1 =l n, l n,n-1 =m n.

Să definim schema generala soluții pentru procesele de moarte și reproducere. Să scriem ecuații algebrice pentru probabilitățile stărilor

Pentru prima stare S 1 avem:

l 1 p 1 =m 2 p 2

Pentru a doua stare avem:

l 2 p 2 +m 2 p 2 =l 1 p 1 +m 3 p 3

Dar, în virtutea (9.1), putem anula termenii l 1 p 1 și m 2 p 2 egali unul cu celălalt la dreapta și la stânga, obținem

l 3 p 3 =m 4 p 4

si in general pentru toti k

l k p k =m k+1 p k+1 pentru k=1,2,..., n-1

Soluția pentru acest sistem este:

p 1 +p 2 +....+p n = 1

Exemplul 2 . Găsiți probabilitățile limită ale stărilor pentru procesul de moarte și reproducere cu ajutorul unui grafic

Exemplul 3 . Dispozitivul este format din trei unități; fluxul de defecțiuni este cel mai simplu, timpul mediu de funcționare fără defecțiuni al fiecărui nod este egal cu T in. Unitatea defectată începe imediat să fie reparată; timpul mediu de reparare (restaurare) a unui nod este t p ; legea repartizării acestui timp este orientativă (fluxul restaurărilor este cel mai simplu). Găsiți productivitatea medie a dispozitivului dacă cu trei noduri de lucru este egală cu 100%, cu două - 50% și cu unul sau mai puțin - dispozitivul nu funcționează deloc.

Să luăm în considerare descrierea matematică a unui proces Markov cu stări discrete și timp continuu folosind exemplul unui proces aleatoriu din exemplul anterior, al cărui grafic este prezentat în Fig. 15. Vom presupune că toate trecerile sistemului de la stat S i V S j apar sub influența unor simple fluxuri de evenimente cu intensități ( eu, j= 0, 1, 2, 3); Astfel, sistemul trece de la stat S 0 in S 1 va avea loc sub influența fluxului de eșec al primului nod și tranziția inversă de la stare S 1 in S 0 - sub influența fluxului de completări de reparații ale primului nod etc.

Graficul stărilor sistemului cu intensitățile marcate la săgeți va fi numit etichetat (vezi Fig. 3.1). Sistem în considerare S are patru stari posibile: S 0 ,S 1 , S 2 , S 3 .

Probabilitatea stării i este probabilitatea p i(t) ce în acest moment t sistemul va fi într-o stare S,. Evident, pentru orice moment t suma probabilităților tuturor stărilor este egală cu unu:

Sistemul lui Kolmogorov de ecuații diferențiale pentru probabilități de stare:

(3.2.)

Să formulăm o regulă pentru alcătuirea ecuațiilor Kolmogorov. Pe partea stângă a fiecăruia dintre ele se află derivata probabilității i-a stare. În partea dreaptă este suma produselor probabilităților tuturor stărilor (de la care săgețile merg într-o stare dată) cu intensitatea fluxurilor corespunzătoare de evenimente, minus intensitatea totală a tuturor fluxurilor care scot sistemul dintr-o stare. stare dată, înmulțită cu probabilitatea unei (prima stare).

În sistemul (3.2) există o ecuație independentă mai puțin număr total ecuații. Prin urmare, pentru a rezolva sistemul este necesar să adăugați ecuația (3.1).

Particularitatea rezolvării ecuațiilor diferențiale în general este că este necesar să se stabilească așa-numitele condiții inițiale, i.e. V în acest caz, probabilităţile stărilor sistemului la momentul iniţial t= 0. Deci, de exemplu, este firesc să rezolvăm sistemul de ecuații (15.9) cu condiția ca la momentul inițial ambele echipe să fie libere și sistemul să fie în stare S 0, adică la conditiile initiale p 0 (0) = 1, p 1 (0) = 0, p 2 (0) = 0, p 3 (0) = 0.

Ecuațiile lui Kolmogorov fac posibilă găsirea tuturor probabilităților stărilor în funcție de timp. De un interes deosebit sunt probabilitățile sistemului p i(t) în modul staționar limitator, i.e. la , care se numesc probabilitățile limită (sau finale) ale stărilor.

În teoria proceselor aleatorii, se dovedește că dacă numărul de stări ale unui sistem este finit și din fiecare dintre ele este posibil (într-un număr finit de pași) să se treacă la orice altă stare, atunci există probabilități limitative.

Limita probabilității de stare S, are o semnificație clară: arată timpul relativ mediu în care sistemul rămâne în această stare. De exemplu, dacă probabilitatea marginală a unei stări S 0 adică r 0 = 0,5, aceasta înseamnă că, în medie, jumătate din timp sistemul este în stare S 0 .

Deoarece probabilitățile limită sunt constante, înlocuindu-le derivatele în ecuațiile lui Kolmogorov valori zero, obținem un sistem de ecuații algebrice liniare care descriu regimul staționar. Pentru sistem S cu graficul de stare prezentat în Fig. 3.2), un astfel de sistem de ecuații are forma:

(3.3)

Sistemul (4.3) poate fi compilat direct dintr-un grafic de stări marcate dacă ne ghidăm după regula conform căreia în partea stângă a ecuațiilor se află probabilitatea maximă a unei stări date p„ înmulțită cu intensitatea totală a tuturor fluxurilor care conduc de la o anumită stare. stare, iar în dreapta este suma produselor intensităților tuturor fluxurilor care intră în starea I, pe probabilitatea acelor stări din care provin aceste fluxuri.

Estimări asimptotice în conformitate cu binecunoscuta teoremă a lui A.A. Lanțurile Markov pot fi obținute pentru lanțurile Markov care au proprietatea ergodică.

Definiția 1. Dacă numărul de stări ale unui sistem este finit și se poate trece de la fiecare stare la oricare alta într-un număr arbitrar de pași, atunci se spune că un astfel de sistem are proprietatea ergodică.

Definiția 2. Fie ca procesul Markov să fie caracterizat de probabilitățile de trecere de la starea i la starea j în timpul t

p ij (t) (0?i?n; 0?j?n).

Un proces se numește tranzitiv dacă există un t>0 astfel încât p ij (t)>0 (0?i?n; 0?j?n). Din definițiile 1 și 2 rezultă că procesele din lanțurile Markov cu proprietatea ergodică sunt tranzitive.

teorema lui Markov. Pentru orice proces tranzitiv Markov, limita există și nu depinde de starea inițială.

Asta inseamna ca la t?? în sistem se stabilește un anumit regim staționar limitativ, caracterizat printr-o probabilitate constantă, independentă de timp, a fiecăreia dintre stările sistemului. În acest caz, această probabilitate reprezintă timpul relativ mediu în care sistemul rămâne într-o stare dată. Aceasta înseamnă că dacă timpul de funcționare al întregului sistem este de 100 de ore, iar probabilitatea stării S 1 este egală cu p 1 = 0,15, atunci sistemul va fi în stare S 1 în medie timp de 15 ore.

Limitele la care probabilitățile fiecăreia dintre stările unui lanț Markov cu proprietatea ergodică tind ca t?? se numesc probabilități limită. Când luăm în considerare QS ne vom ocupa doar de lanțuri Markov ergodice. Fie V o submulțime a mulțimii de stări ale sistemului S, iar V’ să fie complementul lui S. Dacă o mulțime V are proprietatea ergodică și nu se poate trece de la nicio stare a mulțimii V la oricare dintre stările mulțimii V’, atunci mulțimea se numește mulțime închisă sau ergodică. Sistemele ergodice constau dintr-un singur set ergodic (S=V, V’=?) și, prin urmare, sunt numite indecompuse. Dacă într-un sistem S există o mulțime V"?? sau în acest sistem se pot distinge mai multe mulțimi ergodice S = V 1 ?V 2 ?…?V n, atunci un astfel de sistem se numește descompus. Sunt prezentate exemple de astfel de sisteme în Fig. 1.3.

Figura 1.3a prezintă un sistem cu două mulţimi ergodice V 1 = (S 2 , S 3 , S 4) şi V 2 (S 5 , S 6). În Fig. 1.3,b, mulţimea ergodică constă dintr-o singură stare (S 4). Dacă un set ergodic constă dintr-o singură stare, atunci această stare se numește absorbantă, deoarece odată ce intră în ea, procesul rămâne pentru totdeauna în starea absorbantă. O trăsătură caracteristică a graficului de stare a unui sistem Markov ergodic indecompunebil este că fiecare vârf al acestui grafic este incident cu arce atât cu incidență pozitivă, cât și cu incidență negativă (adică, fiecare vârf are arce îndreptate atât spre, cât și departe de vârf, vezi ., pentru exemplu, Fig. 1.1 și 1.2).

Calculul probabilităților limită ale stărilor pentru astfel de sisteme este simplificat datorită faptului că, întrucât toate aceste probabilități sunt valori constante, derivatele lor în timp sunt egale cu 0 (dp i /dt = 0 pentru tot i). Prin urmare, părțile stângi ale sistemului de ecuații Kolmogorov (1.7) sunt egale cu zero și se transformă într-un sistem de ecuații algebrice liniare

O soluție netrivială a sistemului (1.8) poate fi obținută numai în cazul degenerarii matricei?. S-a dovedit mai sus că matricea densității probabilităților? este degenerat. Sistemul (1.8) fără una dintre ecuațiile sale este completat cu condiția de normalizare

Relațiile (1.8) și (1.9) ne permit să determinăm probabilitățile limită ale stărilor. Întrucât o parte din termenii corespunzători arcelor cu incidență negativă este pozitivă, iar cealaltă parte corespunzătoare arcelor cu incidență pozitivă este negativă, atunci fiecare ecuație a sistemului (1.8) poate fi compilată ținând cont de regula mnemonică: pentru fiecare stare, suma termenilor corespunzători arcelor de intrare este egală cu suma termenilor corespunzători arcelor de ieșire.

Exemplu. Pentru sistemul prezentat în Fig. 1.2, din ecuațiile lui Kolmogorov (1.7) rezultă

(? 12 +? 13)p 1 =? 41 p 4 (? 41 +? 45) p 4 =? 34 p 3
? 25 p 1 =? 12 p 1 +? 32 p 3 ? 53 p 3 =? 52 p 2 +? 45p4
(? 3 2 +? 3 4)p 4 =? 13 p 1 +? 5 3 p 5 (1,10)

Pentru a rezolva (1.10), este necesar să excludem oricare dintre primele cinci ecuații (de exemplu, a cincea, deoarece conține cel mai mare număr membri).

Probabilitățile limită ale stărilor sunt utilizate în TMT mult mai des decât soluțiile ecuațiilor lui Kolmogorov și, cunoscând soluția sistemului de ecuații ale lui Kolmogorov, este posibil să se determine momentul finalului procesului de tranziție de modificare a probabilităților stărilor peste timp. Acest lucru face posibilă calcularea perioadei de timp, începând de la includerea sistemului în funcțiune, după care probabilitățile stărilor își vor atinge valorile limită și estimările care utilizează aceste valori vor fi valabile. Pentru a încheia această secțiune, să luăm în considerare o clasă particulară, dar practic foarte importantă de procese Markov, care sunt utilizate pe scară largă în studiul QS. Acestea sunt procesele de „reproducție și moarte”. Acestea includ lanțuri Markov, reprezentate printr-un grafic etichetat, care constă dintr-un lanț alungit de stări, prezentat în Fig. 1.4.

Matricea densității probabilității de tranziție a unui astfel de sistem este jacobiană (tridiagonală):

Considerând starea inițială S 0 , obținem conform (1.8)

01 p 0 =? 10 p 1 (1,11)

Pentru starea S 1 avem

01 p 0 +? 21 p 2 =? 10 p 1 +? 12 p 1 (1,12)

Scăzând egalitatea (1.11) din (1.12), obținem

21 p 2 = ? 12 p 1 (1,13)

Continuând acest proces până la starea n inclusiv, obținem

N, n -1 p n =? n -1, n p n -1

Din (1.11) putem exprima acum p 1 în termeni de p 0:

p 1 =p 0 (? 01 /? 10) (1,14)

Înlocuind (1.14) în (1.13), obținem

p 2 =p 0 (? 01 ? 12 /? 10 ? 21)

Evident, pentru k arbitrar (1?k?n) expresia va fi valabilă

În conformitate cu (1.15) și graficul de stare etichetat prezentat în Fig. 1.4, este posibil să se formuleze o regulă prin care se pot exprima probabilitățile limitative ale stărilor procesului de „reproducție și moarte” prin probabilitatea stării inițiale. p 0 . Această regulă spune: probabilitatea unei stări arbitrare p k (l?k?n) este egală cu probabilitatea stării inițiale p 0, înmulțită cu o fracție, al cărei numărător este egal cu produsul densităților de probabilitate de tranziție pentru arce. transferul stării sistemului de la stânga la dreapta, iar numitorul este produsul densităților de probabilitate de tranziție de la dreapta la stânga de la stările inițiale la cele k-a inclusiv.

Probabilitatea p 0 se găsește din condiția de normalizare și din expresiile (1.15) după cum urmează:

Expresiile (1.15) și (1.16) determină complet probabilitățile limitative ale procesului de „reproducție și moarte”.