Bootstrap (frequentist) tar dataene som en rimelig tilnærming til den ukjente populasjonsfordelingen. Derfor kan samplingsfordelingen av en statistikk (en funksjon av dataene) tilnærmes ved å gjentatte ganger sampling av observasjonene med erstatning og beregning av statistikken for hver prøve.

La $ y = (y_1, \ ldots, y_n) $ betegne de opprinnelige dataene (I eksemplet gitt, $ n = 5 $ ). La $ y ^ b = (y_1 ^ b, \ ldots, y_n ^ b) $ betegne en bootstrap-prøve. En slik prøve vil sannsynligvis ha noen observasjoner gjentatt en eller flere ganger, og andre observasjoner vil være fraværende. Gjennomsnittet av bootstrap-prøven er gitt av $$ m_b = \ frac {1} {n} \ sum_ {i = 1} ^ n y_i ^ b. $$ Det er fordelingen av $ m_b $ over et antall bootstrap-replikasjoner som brukes til å tilnærme samplingsfordelingen fra den ukjente befolkningen.

I rekkefølge for å forstå sammenhengen mellom den hyppige bootstrap og Bayesian bootstrap, er det lærerikt å se hvordan man kan beregne $ m_b $ fra et annet perspektiv.

I hver bootstrap-prøve $ y ^ b $ , forekommer hver observasjon $ y_i $ hvor som helst fra 0 til $ n $ ganger. La $ h_i ^ b $ angi antall ganger $ y_i $ forekommer i $ y ^ b $ , og la $ h ^ b = (h_1 ^ b, \ ldots, h_n ^ b) $ . Dermed $ h_i ^ b \ in \ {0, 1, \ ldots, n-1, n \} $ and $ \ sum_ {i = 1} ^ n h_i ^ b = n $ . Gitt $ h ^ b $ , kan vi konstruere en samling ikke-negative vekter som summerer seg til en: $ w ^ b = h ^ b / n $ , der $ w_i ^ b = h_i ^ b / n $ . Med denne notasjonen kan vi uttrykke gjennomsnittet av bootstrap-eksemplet på nytt som $$ m_b = \ sum_ {i = 1} ^ n w_i ^ b \, y_i. $$

Måten observasjonene velges for en bootstrap-prøve bestemmer fellesfordelingen for $ w ^ b $ . Spesielt har $ h ^ b $ en multinomial fordeling og dermed $$ (n \, w ^ b) \ sim \ textsf {Multinomial} (n, (1 / n) _ {i = 1} ^ n). $$ Derfor kan vi beregne $ m_b $ span > ved å tegne $ w ^ b $ fra distribusjonen og beregne punktproduktet med $ y $ . Fra dette nye perspektivet ser det ut til at observasjonene er faste mens vektene varierer.

I Bayesiansk slutning blir observasjonene faktisk tatt som faste, så dette nye perspektivet virker behagelig for den Bayesiske tilnærmingen. Faktisk er beregningen av gjennomsnittet i henhold til Bayesian bootstrap bare forskjellig i fordelingen av vektene. (Likevel, fra et konseptuelt synspunkt, er den Bayesiske bootstrap ganske forskjellig fra den hyppige versjonen.) Dataene $ y $ er faste og vektene $ w $ er de ukjente parametrene. Vi kan være interessert i noen funksjonelle av dataene som avhenger av de ukjente parametrene: $$ \ mu = \ sum_ {i = 1} ^ n w_i \ , y_i. $$

Her er en miniatyrskisse av modellen bak Bayesian bootstrap: Samplingsfordelingen for observasjonene er multinomial og den tidligere for vektene er en begrensende Dirichlet-fordeling som setter hele vekten på toppunktene til simpleksen. (Noen forfattere refererer til denne modellen som den multinomiale sannsynlighetsmodellen .)

Denne modellen produserer følgende bakre fordeling for vektene: $ $ w \ sim \ textsf {Dirichlet} (1, \ ldots, 1). $$ (Denne fordelingen er flat over simpleksen.) De to fordelingene for vektene (hyppig og bayesisk) er ganske like: De har de samme midlene og lignende kovarianter. Dirichlet-distribusjonen er 'jevnere' enn den multinomiale fordelingen, så den Bayesian bootstrap kan kalles den smoothed bootstrap. Vi kan tolke den hyppige bootstrap som en tilnærming til Bayesian bootstrap.

Gitt den bakre fordelingen for vektene, kan vi tilnærme den bakre fordelingen av den funksjonelle $ \ mu $ ved gjentatt sampling $ w $ fra sin Dirichlet-distribusjon og beregning av punktproduktet med $ y $ .

Vi kan vedta rammeverket for estimering av ligninger $$ \ sum_ {i = 1} ^ n w_i \, g (y_i, \ theta) = \ understrek 0, $$ der $ g (y_i, \ theta) $ er en vektor av estimeringsfunksjoner som avhenger av den ukjente parameteren (vektoren) $ \ theta $ og $ \ understreke 0 $ er en vektor med nuller. Hvis dette ligningssystemet har en unik løsning for $ \ theta $ gitt $ y $ og $ w $ , så kan vi beregne den bakre fordelingen ved å tegne $ w $ fra den bakre distribusjonen og evaluere løsningen. (Rammeverket for estimering av ligninger brukes med empirisk sannsynlighet og med generalisert øyeblikksmetode (GMM).)

Det enkleste tilfellet er det vi allerede har behandlet: $$ \ sum_ {i = 1} ^ n w_i \, (y_i - \ mu) = 0. $$ For gjennomsnittet og variansen, $ \ theta = (\ mu, v) $ vi har $$ g (y_i, \ theta) = \ begin {pmatrix} y_i - \ mu \\ (y_i - \ mu) ^ 2 - v \ end {pmatrix}. $$ Oppsettet er litt mer involvert enn det for den hyppige bootstrap, og det er grunnen til at en Bayesianer kanskje adopterer den frequentistiske bootstrap som en rask tilnærming.