Predpokladajme, že máme náhodná vzorka od záujmovej populácie. Možno budeme mať teoretický model pre spôsob, akým populácia je distribuovaný. Môže však existovať niekoľko obyvateľov parametre z toho nepoznáme hodnoty. Odhad maximálnej pravdepodobnosti je jedným zo spôsobov, ako určiť tieto neznáme parametre.
Základnou myšlienkou odhadu maximálnej pravdepodobnosti je to, že určujeme hodnoty týchto neznámych parametrov. Robíme to tak, aby sme maximalizovali pridruženú funkciu hustoty pravdepodobnosti kĺbov alebo pravdepodobnostná hmotnostná funkcia. Uvidíme to podrobnejšie v nasledujúcom texte. Potom vypočítame niekoľko príkladov odhadu maximálnej pravdepodobnosti.
Kroky na odhad maximálnej pravdepodobnosti
Horeuvedenú diskusiu možno zhrnúť do nasledujúcich krokov:
- Začnite so vzorkou nezávislých náhodných premenných X1, X2,... Xn zo spoločného rozdelenia, každá s funkciou hustoty pravdepodobnosti f (x; θ1,.. .θk). Tieto tetre sú neznáme parametre.
- Pretože naša vzorka je nezávislá, pravdepodobnosť získania konkrétnej vzorky, ktorú pozorujeme, sa zistí vynásobením našich pravdepodobností. To nám poskytuje funkciu pravdepodobnosti L (θ 1,.. .θk) = f (x1 ;θ1,.. .θk) f (x2 ;θ1,.. .θk)... f (xn ;θ1,.. .θk) = Π f (xja ;θ1,.. .θk).
- Ďalej používame počet aby sme našli hodnoty theta, ktoré maximalizujú našu pravdepodobnostnú funkciu L.
- Konkrétnejšie rozlišujeme pravdepodobnostnú funkciu L vzhľadom na 9, ak existuje jeden parameter. Ak existuje viac parametrov, vypočítame čiastkové deriváty L vzhľadom na každý z parametrov theta.
- Ak chcete pokračovať v procese maximalizácie, nastavte derivát L (alebo čiastočné deriváty) na nulu a vyriešte hodnotu theta.
- Potom môžeme použiť ďalšie techniky (napríklad druhý derivátový test) na overenie, či sme našli maximum pre našu funkciu pravdepodobnosti.
príklad
Predpokladajme, že máme balík semien, z ktorých každé má konštantnú pravdepodobnosť p úspechu klíčenia. Zasadíme n z toho a spočítať počet tých, ktoré pučia. Predpokladajme, že každé semeno klíčí nezávisle od ostatných. Ako určíme odhad maximálnej pravdepodobnosti parametra p?
Začneme tým, že každé semeno je modelované distribúciou Bernoulli s úspechom p. Dovolili sme X byť buď 0 alebo 1, a pravdepodobnostná hmotnostná funkcia pre jedno semeno je F( X; p ) = pX(1 - p)1 - x.
Naša vzorka sa skladá z n rozdielny Xja, každý z nich má distribúciu Bernoulli. Semená, ktoré klíčia Xja = 1 a semená, ktoré nedokážu klíčiť Xja = 0.
Funkcia pravdepodobnosti je daná:
L ( p ) = Π pXja(1 - p)1 - Xja
Vidíme, že je možné prepísať funkciu pravdepodobnosti pomocou zákonov exponentov.
L ( p ) = pΣ xja(1 - p)n - Σ xja
Ďalej rozlišujeme túto funkciu vzhľadom na p. Predpokladáme, že hodnoty pre všetky Xja sú známe, a preto sú konštantné. Na rozlíšenie funkcie pravdepodobnosti potrebujeme použiť pravidlo produktu spolu s pravidlom výkonu:
L '( p ) = Σ xjap-1 + Σ xja (1 - p)n - Σ xja- (n - Σ xja ) pΣ xja(1 - p)n-1 - Σ xja
Prepíšeme niektoré negatívne exponenty a máme:
L '( p ) = (1/p) Σ xjapΣ xja (1 - p)n - Σ xja- 1/(1 - p) (n - Σ xja ) pΣ xja(1 - p)n - Σ xja
= [(1/p) Σ xja - 1/(1 - p) (n - Σ xja)]japΣ xja (1 - p)n - Σ xja
Teraz, aby sme mohli pokračovať v procese maximalizácie, nastavíme tento derivát na nulu a vyriešime ho p:
0 = [(1/p) Σ xja - 1/(1 - p) (n - Σ xja)]japΣ xja (1 - p)n - Σ xja
od tej doby p a (1 - p) sú nenulové, ktoré máme
0 = (1/p) Σ xja - 1/(1 - p) (n - Σ xja).
Vynásobením obidvoch strán rovnice p(1- p) dáva nám:
0 = (1 - p) Σ xja - p (n - Σ xja).
Rozťahujeme pravú stranu a vidíme:
0 = Σ xja - p Σ xja - pn + pΣ xja = Σ xja - pn.
Preto Σ xja = pn a (1 / n) xja = p. To znamená, že odhad maximálnej pravdepodobnosti: p je priemer vzorky. Konkrétnejšie ide o podiel vzoriek semien, ktoré klíčili. To je úplne v súlade s tým, čo by nám povedala intuícia. Za účelom stanovenia podielu semien, ktoré klíčia, sa najskôr vezme do úvahy vzorka zo záujmovej populácie.
Úpravy krokov
Vyššie uvedený zoznam krokov má niekoľko úprav. Napríklad, ako sme videli vyššie, zvyčajne stojí za to stráviť nejaký čas pomocou algebry na zjednodušenie vyjadrenia pravdepodobnostnej funkcie. Dôvodom je uľahčenie vykonávania diferenciácie.
Ďalšou zmenou vyššie uvedeného zoznamu krokov je zváženie prirodzených logaritmov. Maximum pre funkciu L nastane v rovnakom bode ako pre prirodzený logaritmus L. Maximalizácia ln L je teda ekvivalentná maximalizácii funkcie L.
Mnohokrát v dôsledku prítomnosti exponenciálnych funkcií v L, prijatie prirodzeného logaritmu L značne zjednoduší niektoré z našej práce.
príklad
Vidíme, ako používať prirodzený logaritmus tým, že sa pozrieme na príklad zhora. Začneme funkciou pravdepodobnosti:
L ( p ) = pΣ xja(1 - p)n - Σ xja .
Potom použijeme naše logaritmické zákony a zistíme, že:
R ( p ) = ln L ( p ) = Σ xja ln p + (n - Σ xja) ln (1 - p).
Už sme videli, že odvodenie sa dá oveľa ľahšie vypočítať:
R "( p ) = (1/p) Σ xja - 1/(1 - p)(n - Σ xja) .
Teraz, ako predtým, sme tento derivát nastavili na nulu a vynásobili obe strany p (1 - p):
0 = (1- p ) Σ xja - p(n - Σ xja) .
Vyriešime to p a nájdite rovnaký výsledok ako predtým.
Použitie prírodného logaritmu L (p) je užitočné iným spôsobom. Je oveľa jednoduchšie vypočítať druhú deriváciu R (p) na overenie, či skutočne máme maximum v bode (1 / n) Σ xja = p.
príklad
Pre ďalší príklad predpokladajme, že máme náhodnú vzorku X1, X2,... Xn z populácie, ktorú modelovame s exponenciálnym rozdelením. Funkcia hustoty pravdepodobnosti pre jednu náhodnú premennú má tvar F( X ) = θ-1e -X/θ
Funkcia pravdepodobnosti je daná funkciou hustoty pravdepodobnosti kĺbov. Toto je produkt niekoľkých z týchto funkcií hustoty:
L (9) = = 9-1e -Xja/θ = θ-ne -ΣXja/θ
Opäť je užitočné zvážiť prirodzený logaritmus funkcie pravdepodobnosti. Odlíšenie si bude vyžadovať menej práce ako rozlíšenie funkcie pravdepodobnosti:
R (9) = ln L (9) = ln [9-ne -ΣXja/θ]
Používame naše logaritmy a získavame:
R (9) = ln L (9) = - n ln θ + -ΣXja/θ
Diferencujeme vzhľadom na 9 a máme:
R '(9) = - n / θ + ΣXja/θ2
Nastavte tento derivát na nulu a vidíme, že:
0 = - n / θ + ΣXja/θ2.
Vynásobte obe strany číslom θ2 a výsledkom je:
0 = - n θ + ΣXja.
Teraz použite algebra na vyriešenie pre θ:
9 = (1 / n) ΣXja.
Z toho vidíme, že priemer vzorky predstavuje to, čo maximalizuje funkciu pravdepodobnosti. Parameter θ, ktorý vyhovuje nášmu modelu, by mal byť jednoducho priemerom všetkých našich pozorovaní.
pripojenie
Existujú aj iné typy odhadcov. Jeden alternatívny typ odhadu sa nazýva nestranný odhadca. Pre tento typ musíme vypočítať očakávanú hodnotu našej štatistiky a určiť, či zodpovedá zodpovedajúcemu parametru.