Sannsynlighetsfunksjonen er definert som sannsynligheten for en hendelse $ E $ (datasett $ {\ bf x} $) som en funksjon av modellparametrene $ \ theta $

$$ {\ mathcal L} (\ theta; {\ bf x}) \ propto {\ mathbb P} (\ text {Event} E; \ theta) = {\ mathbb P} (\ text {observing} {\ bf x}; \ theta). $$

Derfor er det ingen antagelse om uavhengighet av observasjonene. I den klassiske tilnærmingen er det ingen definisjon for uavhengighet av parametere, siden de ikke er tilfeldige variabler; noen relaterte begreper kan være identifiserbarhet, parameter ortogonalitet og uavhengighet av maksimal sannsynlighetsestimatorer (som er tilfeldige variabler).

Noen eksempler,

(1). Diskret sak . $ {\ bf x} = (x_1, ..., x_n) $ er et utvalg av (uavhengige) diskrete observasjoner med $ {\ mathbb P} (\ text {observing} x_j; \ theta) >0 $, deretter

$$ {\ mathcal L} (\ theta; {\ bf x}) \ propto \ prod_ {j = 1} ^ n {\ mathbb P} (\ text {observing} x_j; \ theta). $$

Spesielt hvis $ x_j \ sim \ text {Binomial} (N, \ theta) $, med $ N $ kjent, har vi det

$$ {\ mathcal L} (\ theta; {\ bf x}) \ propto \ prod_ {j = 1} ^ n \ theta ^ {x_j} (1- \ theta) ^ {N-x_j}. $$

(2). Kontinuerlig tilnærming . La $ {\ bf x} = (x_1, ..., x_n) $ være et utvalg fra en kontinuerlig tilfeldig variabel $ X $, med fordeling $ F $ og tetthet $ f $, med målefeil $ \ epsilon $, dette er, du observerer settene $ (x_j- \ epsilon, x_j + \ epsilon) $. Deretter

\ begin {eqnarray *} {\ mathcal L} (\ theta; {\ bf x}) \ propto \ prod_ {j = 1} ^ n {\ mathbb P} [\ text {observing } (x_j- \ epsilon, x_j + \ epsilon); \ theta] = \ prod_ {j = 1} ^ n [F (x_j + \ epsilon; \ theta) -F (x_j- \ epsilon; \ theta)] \ end { eqnarray *}

Når $ \ epsilon $ er liten, kan dette tilnærmes (ved bruk av gjennomsnittsverdisetningen) ved

\ begin {eqnarray *} {\ mathcal L} (\ theta; {\ bf x}) \ propto \ prod_ {j = 1} ^ nf (x_j; \ theta) \ end {eqnarray *}

For et eksempel med normal sak, ta en titt på dette.

(3). Avhengig og Markov-modell . Anta at $ {\ bf x} = (x_1, ..., x_n) $ er et sett med observasjoner som muligens er avhengig, og la $ f $ være fugetettheten på $ {\ bf x} $, så

\ begin {eqnarray *} {\ mathcal L} (\ theta; {\ bf x}) \ propto f ({\ bf x}; \ theta). \ end {eqnarray *}

Hvis i tillegg Markov-egenskapen er oppfylt, så

\ begin {eqnarray *} {\ mathcal L} (\ theta; {\ bf x}) \ propto f ({\ bf x}; \ theta) = f (x_1; \ theta) \ prod_ {j = 1} ^ {n-1} f (x_ {j + 1} \ vert x_j; \ theta). \ end {eqnarray *}

Ta også en titt på dette.

(+1) Veldig bra spørsmål.

Mindre ting, MLE står for maksimum sannsynlighetsoverslag (ikke flere), noe som betyr at du bare maksimerer sannsynligheten. Dette spesifiserer ikke at sannsynligheten må produseres ved IID-prøvetaking.

Hvis avhengigheten av prøvetakingen kan skrives i den statistiske modellen, skriver du bare sannsynligheten deretter og maksimerer den som vanlig.

Den ene saken som er verdt å nevne når du ikke antar avhengighet, er den for den multivariate Gauss-samplingen (for eksempel i tidsserie-analyse). Avhengigheten mellom to gaussiske variabler kan modelleres av deres kovariansuttrykk, som du inkororerer i sannsynligheten.

For å gi et forenklet eksempel, anta at du tegner et utvalg på størrelse $ 2 $ fra korrelerte gaussiske variabler med samme gjennomsnitt og varians. Du vil skrive sannsynligheten som

$$ \ frac {1} {2 \ pi \ sigma ^ 2 \ sqrt {1- \ rho ^ 2}} \ exp \ left (- \ frac {z} {2 \ sigma ^ 2 (1- \ rho ^ 2)} \ right), $$

hvor $ z $ er

$$ z = (x_1- \ mu) ^ 2-2 \ rho (x_1- \ mu) (x_2- \ mu) + (x_2- \ mu) ^ 2. $$

Dette er ikke produktet av de enkelte sannsynlighetene. Likevel vil du maksimere dette med parameterne $ (\ mu, \ sigma, \ rho) $ for å få MLE.

Selvfølgelig har Gaussiske ARMA-modeller sannsynlighet, siden deres kovariansfunksjon kan utledes eksplisitt. Dette er i utgangspunktet en utvidelse av gui11ames svar på mer enn to observasjoner. Minimal googling produserer papirer som denne der sannsynligheten er gitt i den generelle formen.

En annen, til en grad, mer spennende, klasse eksempler er gitt av multilevel modeller for tilfeldig effekt. Hvis du har data i formen $$ y_ {ij} = x_ {ij} '\ beta + u_i + \ epsilon_ {ij}, $$ der indekser $ j $ er nestet i $ i $ (tenk på studenter $ j $ i klasserom $ i $, si, for en klassisk applikasjon av modeller på flere nivåer), så antar vi $ \ epsilon_ {ij} \ perp u_i $, er sannsynligheten $$ \ ln L \ sim \ sum_i \ ln \ int \ prod_j f (y_ {ij} | \ beta, u_i) {\ rm d} F (u_i) $$ og er en sum over sannsynlighetsbidragene definert på nivået av klynger, ikke individuelle observasjoner. (Selvfølgelig, i Gauss-tilfellet, kan du presse integralene rundt for å produsere en analytisk ANOVA-lignende løsning. Men hvis du sier en logitmodell for svaret ditt $ y_ {ij} $, er det ingen vei ut av numerisk integrasjon.)