Hvis du skal bruke en trinnvis prosedyre, må du ikke prøve på nytt. Lag en tilfeldig delprøve en gang for alle. Utfør analysen din på den. Valider resultatene mot utelukkede data. Det er sannsynlig at de fleste av de "betydningsfulle" variablene vil vise seg å ikke være signifikante.

( Rediger 12/2015: Du kan virkelig gå utover en så enkel tilnærming ved å prøve på nytt, trinnvis prosedyre, og re-validering: dette vil føre deg til en form for kryssvalidering. Men i et slikt tilfelle er det mer sannsynlig at mer sofistikerte metoder for variabelt utvalg, som ryggregresjon, Lasso og Elastic Net, er å foretrekke fremfor trinnvis regresjon.)

Fokuser på variablene som gir mening, ikke de som passer dataene litt bedre. Hvis du har mer enn en håndfull variabler for 330 poster, har du stor risiko for overmontering i utgangspunktet. Vurder å bruke ganske alvorlige inn- og utskrivingskriterier for trinnvis regresjon. Baser den på AIC eller $ C_p $ i stedet for terskler for $ F $ -tester eller $ t $ -tester.

(Jeg antar at du allerede har utført analysen og utforskningen for å identifisere passende omuttrykk for det uavhengige variabler, at du har identifisert sannsynlige interaksjoner, og at du har slått fast at det virkelig er et tilnærmet lineært forhold mellom logitten til den avhengige variabelen og regressorene. Hvis ikke, gjør dette viktige forarbeidet og bare deretter gå tilbake til trinnvis regresjon. )

Vær forsiktig med å følge generiske råd som jeg nettopp ga, forresten :-). Din tilnærming skal avhenge av formålet med analysen (prediksjon? Ekstrapolering? Vitenskapelig forståelse? Beslutningstaking?) Samt dataenes art, antall variabler osv.

Et viktig spørsmål er "hvorfor vil du ha en modell med så få variabler som mulig?". Hvis du vil ha så få variabler som mulig for å minimere kostnadene ved datainnsamling for operativ bruk av modellen din, er svarene gitt av whuber og mbq en utmerket start.

Hvis prediktiv ytelse er det er veldig viktig, da er det sannsynligvis bedre at du ikke gjør noe funksjonsvalg i det hele tatt og bruker normalisert logistisk regresjon i stedet (jf. ryggregresjon). Faktisk, hvis prediktiv ytelse var det som var av største betydning, ville jeg bruke bagged regularisert logistisk regresjon som en slags "belte-og-seler" -strategi for å unngå å overmontere et lite datasett. Millar i sin bok om utvalg av delmengder i regresjon gir ganske mye rådene i vedlegget, og jeg har funnet at det er utmerket råd for problemer med mange funksjoner og ikke veldig mange observasjoner.

Hvis det er viktig å forstå dataene, er det ikke behov for at modellen som brukes til å forstå dataene, er den samme som det ble spådd. I så fall vil jeg prøve dataene flere ganger og se på mønstrene til utvalgte variabler på tvers av prøvene for å finne hvilke variabler som var informative (som mbq antyder, hvis funksjonsvalg er ustabilt, vil ikke en enkelt prøve gi det fulle bildet), men jeg ville fremdeles brukt det bagged regulariserte logistiske regresjonsmodellensemblet for spådommer.

Generelt sett er det to problemer med funksjonsvalg:

• minimal optimal , der du søker etter det minste settet med variabler som gir deg den minste feilen
• alle relevante , der du søker etter alle variablene som er relevante i et problem

Konvergensen av prediktorvalg er i et domene for alle relevante problem , som er helvete vanskelig og dermed krever mye kraftigere verktøy enn logistisk regresjon, tunge beregninger og en veldig forsiktig behandling.

Men det ser ut til at du gjør det første problemet, så du bør ikke bekymre deg for dette. Jeg kan generelt sette whubers svar, men jeg er uenig i påstanden om at du bør droppe resampling - her vil det ikke være en metode for å stabilisere funksjonsvalg, men likevel vil det være en simulering for å estimere ytelsen til et koblet funksjonsvalg + trening , så vil du få et innblikk i tillit til nøyaktigheten din.

Du kan se på papiret Stability Selection av Meinshausen og Buhlmann i J R Statist. Soc B (2010) 72 Del 4, og diskusjonen etter den. De vurderer hva som skjer når du gjentatte ganger deler settet med datapunkter tilfeldig i to halvdeler og ser etter funksjoner i hver halvdel. Ved å anta at det du ser i den ene halvdelen er uavhengig av hva du ser i den matchende andre halvdelen, kan du bevise grenser for det forventede antall feilaktige valgte variabler.

Ikke bruk trinnvis! Se papiret mitt