Maksimaalse tõenäosuse hindamise näited

Oletame, et meil on a suvaline näidis huvipakkuvast elanikkonnast. Meil võib olla teoreetiline mudel, kuidas elanikkond levitatakse. Elanikke võib siiski olla mitu parameetrid mille väärtusi me ei tea. Maksimaalse tõenäosuse hindamine on üks viis nende tundmatute parameetrite määramiseks.

Maksimaalse tõenäosuse hindamise alusidee on see, et me määrame nende tundmatute parameetrite väärtused. Teeme seda nii, et maksimeerida sellega seotud liigese tõenäosustiheduse funktsiooni või tõenäosuse massifunktsioon. Näeme seda üksikasjalikumalt järgmises osas. Seejärel arvutame mõned näited maksimaalse tõenäosuse hindamisest.

Ülaltoodud arutelu võib kokku võtta järgmiste sammudega:

1. Alustage sõltumatute juhuslike muutujate valimiga X₁, X₂,... X_n ühisjaotusest, igaühel tõenäosustiheduse funktsioon f (x; θ₁,.. .θ_k). Thetas on tundmatud parameetrid.
2. Kuna meie valim on sõltumatu, leitakse vaatlusaluse konkreetse valimi saamise tõenäosus meie tõenäosuste korrutamisel. See annab meile tõenäosusfunktsiooni L (θ
   instagram viewer
   ₁,.. .θ_k) = f (x₁ ;θ₁,.. .θ_k) f (x₂ ;θ₁,.. .θ_k)... f (x_n ;θ₁,.. .θ_k) = Π f (x_i ;θ₁,.. .θ_k).
3. Järgmisena kasutame Arvutus leida teeta väärtused, mis maksimeerivad meie tõenäosusfunktsiooni L.
4. Täpsemalt eristame tõenäosusfunktsiooni L θ suhtes, kui on üks parameeter. Kui parameetreid on mitu, arvutame L osalised tuletised iga teetaparameetri suhtes.
5. Maksimeerimise jätkamiseks seadke L (või osalised tuletised) tuletis nulliks ja lahendage teeta jaoks.
6. Seejärel saame kasutada muid tehnikaid (näiteks teist tuletustesti), et kontrollida, kas oleme oma tõenäosusfunktsiooni jaoks maksimumi leidnud.

Oletame, et meil on seemnete pakend, millest igaühel on püsiv tõenäosus lk idanemise edukust. Istutame n neist ja loendage nende arv, kes tärkavad. Oletame, et iga seeme tärkab teistest sõltumatult. Kuidas saame määrata parameetri maksimaalse tõenäosuse hindaja? lk?

Alustuseks märkame, et iga seeme on modelleeritud Bernoulli jaotusega, mille edu on lk. Me lasime X olema 0 või 1 ja ühe seemne tõenäosusfunktsioon on f(x; lk ) = lk^x(1 - lk)^{1 - x}.

Meie valim koosneb n erinevad X_i, millel kõigil on Bernoulli jaotus. Idandatud seemned on X_i = 1 ja idanemata seemnetel on X_i = 0.

Tõenäosusfunktsiooni annavad:

L ( lk ) = Π lk^x_i(1 - lk)^{1 - x}_i

Näeme, et tõenäosusfunktsiooni on võimalik ümber kirjutada, kasutades eksponentide seadusi.

L ( lk ) = lk^{Σ x}_i(1 - lk)^{n - Σ x}_i

Järgnevalt eristame seda funktsiooni suhtes lk. Eeldame, et kõigi väärtused on X_i on teada ja seega on püsivad. Tõenäosusfunktsiooni eristamiseks peame kasutama tootereegel koos võimsuse reegliga:

L '( lk ) = Σ x_ilk^{-1 + Σ x}_i (1 - lk)^{n - Σ x}_i- (n - Σ x_i ) lk^{Σ x}_i(1 - lk)^{n-1 - Σ x}_i

Kirjutame ümber mõned negatiivsed eksponendid ja meil on:

L '( lk ) = (1/lk) Σ x_ilk^{Σ x}_i (1 - lk)^{n - Σ x}_i- 1/(1 - lk) (n - Σ x_i ) lk^{Σ x}_i(1 - lk)^{n - Σ x}_i

= [(1/lk) Σ x_i - 1/(1 - lk) (n - Σ x_i)]_ilk^{Σ x}_i (1 - lk)^{n - Σ x}_i

Maksimeerimise jätkamiseks seadsime selle tuletise nulliks ja lahendame selle p:

0 = [(1/lk) Σ x_i - 1/(1 - lk) (n - Σ x_i)]_ilk^{Σ x}_i (1 - lk)^{n - Σ x}_i

Alates lk ja (1- lk) on null, mis meil olemas on

0 = (1/lk) Σ x_i - 1/(1 - lk) (n - Σ x_i).

Võrrandi mõlemad pooled korrutatakse lk(1- lk) annab meile:

0 = (1 - lk) Σ x_i - lk (n - Σ x_i).

Laiendame parempoolset serva ja näeme:

0 = Σ x_i - lk Σ x_i - lkn + pΣ x_i = Σ x_i - lkn.

Seega Σ x_i = lkn ja (1 / n) x_i = lk. See tähendab, et maksimaalse tõenäosuse hinnang on lk on näidiskeskmine. Täpsemalt on see idanenud seemnete prooviosa. See on täiesti kooskõlas sellega, mida intuitsioon meile ütleks. Idanevate seemnete osakaalu määramiseks kaaluge kõigepealt proovi huvipakkuvast populatsioonist.

Ülaltoodud sammude loendis on mõned muudatused. Näiteks, nagu me eespool nägime, tasub tavaliselt kulutada aega mõne algebrani, et lihtsustada tõenäosusfunktsiooni. Selle põhjuseks on eristamise hõlbustamine.

Veel üks muudatus ülaltoodud sammude loendis on looduslike logaritmide arvestamine. Funktsiooni L maksimum ilmneb samal hetkel kui L naturaalse logaritmi korral. Seega ln L maksimeerimine on samaväärne funktsiooni L maksimeerimisega.

L-i loodusliku logaritmi võtmine lihtsustab L-is eksponentsiaalsete funktsioonide olemasolu tõttu sageli meie tööd.

Näeme, kuidas kasutada looduslikku logaritmi, vaadates ülevaadet ülevalt. Alustame tõenäosusfunktsioonist:

L ( lk ) = lk^{Σ x}_i(1 - lk)^{n - Σ x}_i .

Seejärel kasutame oma logaritmi seadusi ja näeme järgmist:

R ( lk ) = ln L ( lk ) = Σ x_i ln p + (n - Σ x_i) ln (1 - lk).

Juba näeme, et tuletist on palju lihtsam arvutada:

R '( lk ) = (1/lk) Σ x_i - 1/(1 - lk)(n - Σ x_i) .

Nüüd, nagu enne, seadsime selle tuletise nulliga ja korrutame mõlemad pooled lk (1 - lk):

0 = (1- lk ) Σ x_i - lk(n - Σ x_i) .

Me lahendame lk ja leidke sama tulemus nagu varem.

L (p) naturaalse logaritmi kasutamine on abiks muul viisil. R (p) teise tuletise arvutamine on palju lihtsam, et kontrollida, kas meil tõepoolest on punktis (1 / n) Σ x maksimum_i = lk.

Teise näite korral oletame, et meil on juhuslik valim X₁, X₂,... X_n populatsioonist, mida me modelleerime eksponentsiaalse jaotusega. Ühe juhusliku muutuja tõenäosustiheduse funktsioon on vormis f( x ) = θ^-1e ^-x/θ

Tõenäosusfunktsiooni annab liigese tõenäosustiheduse funktsioon. See on mitme järgmiste tihedusfunktsioonide tulemus:

L (θ) = Π θ^-1e ^-x_i^/θ = θ^-ne ^-Σx_i^/θ

Veelkord on kasulik kaaluda tõenäosusfunktsiooni looduslikku logaritmi. Selle eristamine nõuab vähem tööd kui tõenäosusfunktsiooni eristamine:

R (θ) = ln L (θ) = ln [θ^-ne ^-Σx_i^/θ]

Kasutame oma logaritmide seadusi ja saame:

R (θ) = ln L (θ) = - n ln + -Σx_i/θ

Eristame θ suhtes ja meil on:

R '(θ) = - n / θ + Σx_i/θ²

Pange see tuletis nulliks ja näeme järgmist:

0 = - n / θ + Σx_i/θ².

Korrutage mõlemad pooled θ² ja tulemus on järgmine:

0 = - n θ + Σx_i.

Nüüd kasutage algebra, et for lahendada:

θ = (1 / n) Σx_i.

Sellest näeme, et tõenäosusfunktsiooni maksimeerib valimi keskmine. Parameeter θ, mis sobib meie mudeliga, peaks lihtsalt olema kõigi meie tähelepanekute keskmine.

Ühendused

On ka teist tüüpi hinnanguid. Üht alternatiivset hindamistüüpi nimetatakse erapooletu hinnangu andja. Selle tüübi jaoks peame arvutama oma statistika eeldatava väärtuse ja määrama, kas see vastab vastavale parameetrile.