Kulbako-Leibliero ir Censovo atstumai

Susipažinsime su pagrindinėmis sąvokomis, kurios pateiktos [9] ir [1] knygose. Tarkime, kad turime binarinį  statistinį eksperimentą e = (X", 23™, {P", P"} su stebėjimais X" G X ir mačioje erdvėje (X", 23") apibrėžtas dar vienas tikimybinis matas Q,

toks, kad                                   .

1.4.1 APIBRĖŽIMAS: Kulbako-Leibliero informaciniu atstumu tarp matų P" ir P" vadiname skaičių žymimą /( P", P") ir apskaičiuojamą pagal formulę:

/(Poⁿ,P")= f Po(x)/n^P°^(X)dC(x),      (9)
J                 pi⁽X⁾

X

čia   ( ) yra   tankiai Q mato atžvilgiu.

Nesunku matyti, kad                    , tuomet galime užrašyti tokį pavidalą:

/(P",Po")= f Pi(x)/n^Pl(X)dC(x).   ( 1 0)
J                 P o⁽x⁾

X

Tarkim, kad (                                        )                   - binarinė statistinių eksperimentų šeima su

stebėjimais X" G Xⁿ , //" ir //" - dvi paprastos hipotezės, reiškiančios, kad stebėjimai X" turi tikimybinį matą     ir     atitinkamai.

Sakykim, kad mačioje erdvėje (                      ) turime tris tikimybinius matus

tokius, kad P" « Qt = 0, 1, Vn G N. Tada tikimybinių matų P" ir P", a G [0, 1] eilės Helingerio integralu vadiname dydį

r  E £z" 1(z">0),a = 0, //*(a) = //„(a, P", P") = { E 3(z")^a(z") ¹ "^a,a G ( 0, 1),

(  E £z" 1(z">0 ),a = 1,

čia E q - matematinis vidurkis mato Q " atžvilgiu, 1(4) - aibės A indikatorius, z" = —^, t =

Įveskime sąlygas S:

(51)   Tikimybiniai matai P" ir P" yra tarpusavyje ekvivalentūs, t.y. P"~ P", n G JV;

(52)   egzistuoja riba li m_n- ^ "1 n //_n( a, P", P") = c( a), a G [0, 1 ];

(53)   funkcija c( a) diferencijuojama ir griežtai iškila intervale (0,1); (S4): egzistuoja konstanta, žymima /( P", P") > 0 ,

dPⁿ        p

n ~^{1 z} n-TPr(Xⁿ) - /( P", P") < oo, ka i n - oo, aP₀

Pagal tokį     ( ) apibrėžimą  ( )     ( )     , o funkcija  ( ) yra griežtai iškila,
vadinasi., egzistuoja taškas       (    ) toks, kad (   )                                            ( )

Žymėsime                       (   ).

1.4.2 APIBRĖŽIMAS: Česnovo asimptotiniu atstumu tarp matų P" ir P" (žymime (        )) vadinamas skaičius

/o, i = - i n f c( a⁾,

0<a<l

kur

1

c( a) = li m-/n //„( a, P", P"), ( 7 )

n->oo 77.

čia //_n( P", P", a) yra a eilės Helingerio atstumas-integralas tarp matų P" ir P" .

1.5 Markovo proceso su r būsenomis Helingerio integralas

Susipažinsime su pagrindiniais aspektais, pateiktais [3] literatūros šaltinyje.
Nagrinėjame   binarinę   statistinių   eksperimentų   šeimą   (Xⁿ, 23ⁿ,{ P0\
stebėjimais                 (                            ). Sprendžiame dviejų paprastų hipotezių

}),   su

atskyrimo uždavinį. Čia Xⁿ = (X_O,X₂ ,. . .,X_n), o Z_fc = Z(/c), /c = 1, 2 ,. ..,n, kur Z(/c ), /c G N yra diskretaus laiko atsitiktinis procesas (Markovo grandinė su r būsenomis tikimybinio mato P_O atžvilgiu), turintis pradines tikimybes:

W D = 2)

ir perėjimo tikimybių matricą

Atitinkamai, Markovo grandinė tikimybes:

PO¹ =               1) = 1),

( )                     mato     atžvilgiu turi pradines

ir perėjimo tikimybių matricą

Tada, sukonstruotas pagal du tikimybinius matus Pⁿ ir Pⁿ, atitinkančius anksčiau nusakytas r būsenų Markovo grandines a E [0, 1 ] eilės Helingerio integralas turi pavidalą:

n_n⁽a⁾=h>, ^pn 0, ^pni⁾ = į į į ..± ^(p0Ą₂       r⁽ ^       y-.

'1 =¹ '2 =¹ 'i =¹      'n =¹

1.6 Hipotezių tikrinimas

Susipažinsime su pagrindiniais principais ir sąvokomis hipotezėms tikrinti, kurie pateikti [6] knygoje.

Tarkim, kad turime binarinį statistinį eksperimentą

su imtimi

Xⁿ G X. Iš anksto nėra žinoma, kuris tikrasis imties Xⁿ skirstinys P^¹ ar Pⁿ

1.6.1 APIBRĖŽIMAS: Bet koks teiginys apie tikrąjį imties Xⁿ skirstinį vadinamas hipoteze.

Kadangi mūsų atveju tėra dvi galimybės, tai tikriname tik dvi hipotezes:

1.6.2  APIBRĖŽIMAS: Hipotezė, sudaryta iš vienos galimybės (taško), vadinama
paprastąja.

Tokiu būdu mes sprendžiame dviejų paprastųjų hipotezių tikrinimo uždavinį.

1.6.3  APIBRĖŽIMAS: Hipotezių H0¹ ir Hⁿ tikrinimo (nerandomizuotu) statistiniu
kriterijumi vadiname kiekvieną statistiką 6 = 6(Xⁿ), įgyjančią dvi reikšmes 0 ir 1. Kada
6(Xⁿ) įgyja reikšmę 0, tada hipotezė H0¹ priimama (Hⁿ atmetama), o kada įgyja reikšmę 1,
tada hipotezė     priimama, o     atmetama.

Akivaizdu, kad taip apibrėžtas statistinis kriterijus 6(Xⁿ) padalija galimas X reikšmes X į dvi nesikertančias aibes X₀ = X\VK, kur priimama hipotezė Hįⁿ (H{* atmetama), ir , kur priimama hipotezė      (    atmetama).

1.6.4  APIBRĖŽIMAS: Sritis w, kurioje priimama hipotezė Hį¹ (atmetama H0¹),
vadinama kritine sritimi.

Kiekvienas statistinis kriterijus 6 = 6(Xⁿ) gali būti išreikštas per W tokiu būdu:

Todėl kritinės srities W

( )

Taigi, hipotezė       atmetama, jei konkreti reikšmė                           . Todėl

nusakymas ekvivalentus kriterijaus  (   ) apibrėžimui.

Kriterijaus  (   ) (kritinės srities W) gerumą charakterizuoja skaičiai:

(8) = P₀(8(Xⁿ) = 1) = P₀(Xⁿ EW) = E₀8(Xⁿ)

a_x = a_x(8) = P₁(8(Xⁿ) = 0) = P_x(Xⁿ <£ W) = 1 - P_x(Xⁿ EW) = E_±(l - 8(Xⁿ)), čia E_t - vidurkis pagal Pi.

1.6.5 APIBRĖŽIMAS: Skaičius a₀ (atitinkamai a_x), vadinamas kriterijaus 8 =
8(Xⁿ) 1-osios (atitinkamai 2-osios) rūšies klaidos tikimybe, žymi tikimybę atmesti hipotezę

(atitinkamai    ), kada ji teisinga.

Kriterijus 8 = 8(Xⁿ) bus tuo geresnis, kuo mažesnės jo abiejų rūšių klaidų tikimybės. Tačiau, jei stebėjimų Xⁿ apimtis fiksuota, tada mes negalime valdyti abiejų rūšių klaidų tikimybių kartu. Vienu iš būdų gauname optimalų kriterijų, kai fiksavę vienos rūšies klaidos tikimybę minimizuojame kitą. Tuo tikslu įvedame kriterijų klasę:

K_a = {8 = 8(Xⁿ):a₀(8)<a},

kur      (    ) - duotas mažas skaičius, vadinamas kriterijaus   reikšmingumo lygmeniu.

1.6.6 APIBRĖŽIMAS: Kriterijus 8₀ E K_a vadinamas galingiausiu (klasėje K_a), jei su

visais

a₁⁽8₀⁾ < a₁⁽8⁾.

Tarkim skirstinių     ir     tankiai erdvėje (                          ) yra    ir    tam tikro mato   atžvilgiu,

t.y. su visais

Pi(®ⁿ)= \ Pi(x)diL(x),      i = 0,1. Jb

Jei funkcij a

™^(h) = ^P°{¥p^)>-^h)

tolydi h atžvilgiu, tai Neimano-Pirsono (maksimalaus tikėtinumo) kriterijus

( )

i(X") o(X") l(X")

)(X")

( )

su konstanta                  , tenkinančia sąlygą

yra galingiausias klasėje    .

2. PAGRINDINIAI REZULTATAI

2.1 Dviejų paprastų hipotezių asimptotinis atskyrimas

Tarkim, kad (Xⁿ , 23ⁿ, , P?}), n > 0, - binarinė statistinių eksperimantų šeima su stebėjimais Xⁿ E Xⁿ , Hⁿ ir H? - dvi paprastos hipotezės, reiškiančios, kad stebėjimai Xⁿ turi tikimybinį matą P? ir P? atitinkamai. Be to, tegu S:(Xⁿ,%>ⁿ) — ([0, 1 ],B[0,1]) -statistinis kriterijus, kur 58[0,1] yra Borelio a-algebra. Tegu Aⁿ - visuma tokių kriterijų. Apibrėžiame pirmos ir antros rūšies klaidų tikimybes:

( )     ( )        ( )    (    ( ))

čia    yra matematinis vidurkis mato                                  atžvilgiu.

2.1.1 APIBRĖŽIMAS: Kriterijus S₀ E Aⁿ vadinamas minimakso, jei

m ax{a₀(S₀),a^S₀)} = min_sEAnmax{a₀(S ),a^S )}.

Tegu                             yra matas mačioje erdvėje (        ), toks, kad

. Pažymėkime

Hį(a) = Eⁿ_Q(zⁿ)^a(zⁿ)¹ ~^a, a E [0,1],

dpV-

čia zⁿ = —n, i = 1,2, EQ - matematinis vidurkis mato Qⁿ.

Priminsime sąlygas S:

(51)   tikimybiniai matai P? ir P? yra tarpusavyje ekvivalentus, t.y.       Pⁿ , n E N;

(52)   egzistuoja riba \im_n-nH_n(a,P? P?) = c(a), a E [0,1] ;

(53)   funkcija c(a) diferencijuojama ir griežtai iškila intervale (0,1); (S4): egzistuoja konstanta, žymima I(P?, P?) > 0, tokia, kad

dPⁿ        p n~¹ ln—n(Xⁿ) - I(p?, P£) < oo,kai n- o,

čia    žymi konvergavimą pagal tikimybę   .

2.1.2 TEOREMA: [5] Jei tenkinamos (S1)-(S3) sąlygos, tai

1

1 i m — i n f 1 n m ax { a ₀( 5), a ₁( 5)} = —/₀₁ , ( 1 2 )

n->oo n 5eAⁿ

čia 0 < /o ₁ = — c( a ₀ ) = — i n f₀ < _a < -į c( a), kur -į vadinama Černovo-Salichovo informacija [2], [11].

Vienas iš pagrindinių darbo rezultatų yra įrodyta tokia teorema:

2.1.3 TEOREMA: Tarkime, kad yra tenkinamos (S1) ir (S4) sąlygos. Tada

1 i m    įnf ₎n " ^!1na 0( 5) = — /( P0",P"), ( 1 3 )

čia   (    )                          ( )                                          - statistinių kriterijų klasė, su aprėžtomis antros

rūšies klaidos tikimybėmis.

ĮRODYMAS: Pagal pirmos rūšies klaidos tikimybės apibrėžimą turime

dPⁿ                                                  (    ldPⁿ      1

a0(5) = E"5(X") = E"5(X")^"(X") = E"5(X")exp{n ■ n^tf")). ( 14)

Kadangi, pagal (S4) sąlygą

dPⁿ       p

n ~ ^1/n^P°r(Xⁿ)- —/( P0",P") < oo, n-oo,      ( 1 5 )

tai įvedus aplinką

(                       dPⁿ                                                      1

tffon) = {X" :n " ¹/n^(X») + /^P?) > —a).

Iš (  ) seka, kad

(      (   ))                                                            (   ) ( )

Pagal antros rūšies klaidos tikimybės apibrėžimą

( )    (   ( ))

Kadangi 8 G 5(b,n), tai

( )     (    ( ))                                             ( )                              ( )

Vadinasi, kai n > n_o iš ( 1 4) atsižvelgus į ( 1 5 ) ir ( 1 6 ) ir ( 1 7 ) gauname

ao(8) = E"8(X")_exp{n-_n^P"(X")j

> E "l(X G t/Gu,n))8(X") e xp { - n/( P", P") - nu} .

Iš čia,                     gauname

li m   įnf ₎n " ^!1 na o( 8) = - /( P",P").

"—oo SGį(f,")

Teorema įrodyta.

IŠVADOS:

1) Tarkime, kad X" = (X₁ ,X₂ ,. . .,X_n) - stebėjimai, kur (X₁ ,X₂ ,. . .,X_n) -nepriklausomi ir vienodai pasiskirstę atsitiktiniai dydžiai su skirstiniu . Tikriname dvi paprastas hipotezes:

Tada galioja teoremos rezultatas su Kulbako-Leibliero informacija:

+ 00

/(P",Po")=  I P i(x)1n^4dx<oo,
J                 Po⁽x⁾

— oo

jei matai     ir    turi tankius   ( ) ir   ( ) Lebego mato atžvilgiu.

PASTABA: Tokioje formoje, šis rezultatas buvo gautas įvairių autorių darbuose, pavyzdžiui: N.N. Čensovo [1].

Čia galima pastebėti, kad (S4) sąlyga, kai /( PO¹, P^) < o° pagal didžiųjų skaičių dėsnį:

2) Tarkime, kad Xⁿ = (X_O ,X₂ ,. . -,^_n) - stebėjimai, atitinkantys Markovo grandinę
( )                     su perėjimo tikimybių matrica

/Pll    Pl2             Plr\

pn =    ^p2 O    ^p22    " " "    ^p2r )

\Prl    Pr2    '"    Prr /

ir pradinėmis tikimybėmis

)

Tikriname dvi paprastas hipotezes:

H%:Pⁿ = P£,   H?:Pⁿ = P?, kur tikimybinius matus     ir     atitinka perėjimo tikimybių matricos

/Pll    P12    P13                 Plr\

Pll    ^p22    ^p23    "■    Plr
P(i) =      i        i        i                                 i

^     ^_    P\l    ^p32    ^p33                        ^p3r

^(pr O    ^p r 2    ^pr 3    """    ^prr'

ir pradinės invariantinės tikimybės

( )

w

Dabar mūsų tikslas užrašyti atitinkamą tikimybinių matų Radono-Nikodino išvestinę

dPⁿ

(X"). Kaip žinome iš (1.1.2) teoremos, ji turi pavidalą

dR"        pIpIpL-pI _x

lll        ⁰    (X") ^— ln        ¹     Zfor ^x2^x3      ^{r x}n-1^xn   _
^{dR                           Px}1 ^Px1^x2 ^Px2^x3 '"^Pxn-1 ^xn

P°     p°       p°           p°        P°   ^   P°

_ ln     + ln P^- + ln p^³- +... + ln        _ ln ^-f + £ ln p^-.

^Px1              ^Pxi^x2               ^Px2^x3                      ^Pxn-1^xn                ^Px1         '_^{2        Px}i-1^xi

Pagal perėjimo tikimybės apibrėžimą, gautos sumos elementai tarpusavyje yra nepriklausomi, todėl

dPⁿ

E" ^/n^_P1"(Xⁿ) = (n — 1)/(P0",P") + /^"P"). Čia Kulbako-Leibliero informacija pagal apibrėžimą yra

r    r                   ^

/(P0",P")=yypⁱ pį/n^f, ( 1 s)

r(P0ⁿ,P")= > P^n^į ,

P f=P_fc(Xi = 1 ),  t = 1,. . .r,      k = 0, 1 .

Vadinasi teoremos rezultatas galioja Markovo grandinei su r būsenų skaičiumi ir Kulbako-Leibliero informacija ( 1 8 ).