Det kan sterkt diskuteres at bruken av terskelverdienivåer som $ P = 0,05 $ eller $ P = 0,01 $ er en historisk bakrus fra en periode da de fleste forskere var avhengige av tidligere beregnede tabeller med kritiske verdier. Nå vil god programvare gi $ P $ -verdier direkte. Faktisk, god programvare lar deg tilpasse analysen din og ikke avhenge av læreboktester.

Dette er omstridt om bare fordi noen betydningsprøvingsproblemer krever beslutninger, som i kvalitetskontroll der det er nødvendig å ta imot eller avvise en batch, etterfulgt av en handling på begge måter. Men selv der bør terskelene som skal brukes, vokse ut av en risikoanalyse, ikke avhenge av tradisjon. Og ofte i vitenskapene er analyse av kvantitative indikasjoner mer hensiktsmessig enn avgjørelser: å tenke kvantitativt innebærer oppmerksomhet mot størrelser på $ P $ -verdier og ikke bare til en grov dikotomi, signifikant versus ikke signifikant.

Jeg vil markere at jeg her berører et intrikat og kontroversielt spørsmål som er fokus for hele bøker og sannsynligvis tusenvis av papirer, men det virker som et godt eksempel for denne tråden.

En metode som jeg tror mange besøkende på dette nettstedet vil være enig med meg i er trinnvis regresjon.Det er fortsatt gjort hele tiden, men du trenger ikke å søke langt etter eksperter på dette nettstedet og sier beklager bruken.En metode som LASSO er mye foretrukket.

Min oppfatning er at det i det minste i (anvendt) økonometri er mer og mer normen å bruke den robuste eller empiriske kovariansmatrisen i stedet for den "anakronistiske praksisen" med å stole (asymptotisk) på riktig spesifikasjon av kovariansmatrisen . Dette er selvfølgelig ikke uten kontrovers: se noen av svarene jeg lenket her på CrossValidated, men det er absolutt en klar trend.

Eksempler inkluderer heteroscedasticity-robust standardfeil (Eicker-Huber-White standardfeil). Noen forskere som Angrist og Pischke anbefaler tilsynelatende alltid å bruke heteroscedasticity-robust standardfeil i stedet for "anakronistisk" prosedyre for å bruke normal standardfeil som standard og sjekke om antagelsen $ E [uu '] = \ sigma ^ 2 I_n $ er berettiget.

Andre eksempler inkluderer paneldata, Imbens og Wooldridge skriver for eksempel i sine forelesningsglass argumenterer mot å bruke tilfeldige effekter varians kovariansematrise (implisitt antar at en feilspesifisering i varianskomponenten som standard ):

Fullstendig robust slutning er tilgjengelig og bør vanligvis brukes. (Merk: Den vanlige RE-variansmatrisen, som bare avhenger av $ \ sigma_c ^ 2 $ og $ \ sigma_u ^ 2 $, trenger ikke å spesifiseres riktig! Det er fortsatt fornuftig å bruke den til estimering, men gjøre slutningen robust.)

Ved å bruke generaliserte lineære modeller (for distribusjoner som tilhører den eksponensielle familien), anbefales det ofte å alltid bruke den såkalte sandwichestimatoren i stedet for å stole på riktige distribusjonsforutsetninger (den anakronistiske praksisen her) : se for eksempel dette svaret eller Cameron som refererer til telledata fordi estimering av pseudomaksimum sannsynlighet kan være ganske fleksibel i tilfelle feilspesifisering (f.eks. bruker Poisson hvis negativ binomial ville være riktig).

Slike [hvite] standardfeilkorreksjoner må gjøres for Poisson-regresjon, da de kan gjøre en mye større forskjell enn lignende heteroskedastiske korreksjoner for OLS.

Greene skriver i sinlærebok i kapittel 14 (tilgjengelig på nettstedet hans) for eksempel med en kritisk merknad og går mer i detalj om fordeler og ulemper ved denne praksisen:

Det er en trend igjeldende litteratur for å beregne denne [sandwich] estimatoren rutinemessig, uavhengig av sannsynlighetsfunksjonen. * [...] * Vi understreker nok en gang at sandwichestimatoren i seg selv ikke nødvendigvis har noen dyd hvis sannsynlighetsfunksjonen erfeil angitt, og de andre betingelsene for M-estimatoren er ikke oppfylt.

En metode som unødvendig brukes hele tiden er Bonferroni-korreksjonen til p-verdier.Mens flere sammenligninger er et så stort problem som det noen gang var, er Bonferroni-korreksjonen i det vesentlige foreldet for p-verdier: for enhver situasjon der Bonferroni-korreksjonen er gyldig, er også Holm-Bonferroni, som vil ha strengere kraftalternativ hvis $ m > 1 $, hvor $ m $ er antall hypoteser som er testet (likhet med $ m = 1 $).

Jeg tror årsaken til vedvarenheten av Bonferroni-korreksjonen er den enkle mentale bruken (dvs. p = 0,004 med $ m = 30 $ justeres enkelt til 0,12, mens Holm-Bonferroni krever sortering av p-verdier).

De fleste anakronistiske fremgangsmåter skyldes sannsynligvis måten statistikk blir undervist på og det faktum at analyser drives av et stort antall mennesker som bare har tatt et par grunnleggende klasser. Vi underviser ofte i et sett med standard statistiske ideer og prosedyrer fordi de danner en logisk sekvens av økende konseptuell raffinement som gir mening pedagogisk (jf. Hvordan kan vi noen gang kjenne populasjonsvariansen?). Jeg er selv skyldig i dette: Jeg underviser av og til i statistikk 101 og 102, og jeg sier hele tiden: 'Det er en bedre måte å gjøre dette på, men det er utenfor omfanget av denne klassen'. For de studentene som ikke går videre enn den innledende sekvensen (nesten alle), sitter de igjen med grunnleggende, men avløste, strategier.

1. For et statistikkeksempel 101 er sannsynligvis den vanligste anakronistiske praksisen å teste noe antagelse og deretter kjøre en tradisjonell statistisk analyse fordi testen ikke var signifikant. En mer moderne / avansert / forsvarlig tilnærming ville være å bruke en metode som er robust for den antakelsen fra starten. Noen referanser for mer informasjon:

   • Hvordan velge mellom t-test eller ikke-parametrisk test, f.eks. Wilcoxon i små prøver
   • Er normalitetstesting 'egentlig ubrukelig'?
     

2. For eksempler på statistikk 102 er et hvilket som helst antall modelleringsmetoder blitt utdaterte:

   • Transformering av $ Y $ for å oppnå normalitet av restprodukter for å få pålitelige $ p $ -verdier kontra bootstrapping.
   • Transformere $ Y $ for å oppnå homoscedasticitet i stedet for å bruke en sandwichestimator osv.
   • Bruk av et polynom av høyere orden for å fange krumning mot kubiske splines.
   • Evaluering av modeller beregnet på prediksjon ved hjelp av $ p $ -verdier og godhet av tilpasningsberegninger som $ R ^ 2 $ i stedet for kryssvalidering.
   • Med gjentatte måledata, kategorisering av en kontinuerlig variabel slik at rmANOVA kan brukes eller gjennomsnitt av flere målinger kontra bruk av en lineær blandet modell.
   • Etc.

Poenget i alle disse tilfellene er at folk gjør det som ble undervist først i en innføringskurs fordi de rett og slett ikke kjenner til mer avanserte og passende metoder.

Betale lisensavgifter for statistiske programvaresystemer av høy kvalitet.#R

Et veldig interessant eksempel er enhetsrotest i økonometrikk.Selv om det er mange valg tilgjengelige for å teste mot eller for en enhetsrot i lagpolynomet i en tidsserie (f.eks. (Augmented) Dickey Fuller Test eller KPSS-testen), kan problemet omgåes fullstendig når man bruker Bayesian-analyse..Sims påpekte dette i sin provoserende artikkel med tittelen Understanding Unit Rooters: A Helicopter Tour fra 1991.

Enhetens rotprøver er fortsatt gyldige og brukes i økonometri.Mens jeg personlig ville tilskrive dette mest til at folk var motvillige til å tilpasse seg Bayesiansk praksis, forsvarer mange konservative økonometrikere utøvelsen av enhetsrotester ved å si at et bayesisk syn på verden strider mot forutsetningen for økonometrisk forskning.(Det vil si at økonomer tenker på verden som et sted med faste parametere, ikke tilfeldige parametere som styres av noe hyperparameter.)

Taking / gjennomføring av tosidige tester for forskjell uten samtidig testing for ekvivalens i hyppigheten av hypotesetesting er en dyp forpliktelse til bekreftelsesforstyrrelse.

Det er en viss nyanse ved at en passende kraftanalyse med gjennomtenkt definisjon av effektstørrelse kan beskytte mot dette og gi mer eller mindre samme slags slutninger, men (a) effektanalyser blir så ofte ignorert i presentasjonen av funn, og (b) Jeg har aldri sett en effektanalyse for for eksempel hver koeffisient estimert for hver variabel i en multippel regresjon, men det er greit å gjøre det for kombinerte tester for forskjell og tester forekvivalens (dvs. relevansstester).

Bruker du en negativ binomial modell i stedet for en (robust) Poisson-modell for å identifisere en parameter av interesse i en tellingsvariabel, bare fordi det er overdispersjon?

Se som referanse: https://blog.stata.com/2011/08/22/use-poisson-rather-than-regress-tell-a-friend/

Beviset for at Poisson er mer robust når det gjelder faste effekter er ganske nylig, ettersom det er gjort referert til: Wooldridge, JM, "Distribusjonsfri estimering av noen ikke-lineære paneldatamodeller," Journal of Econometrics 90 (1999), 77–97.

Her er noen anakronismer:

• Den neoplatoniske antagelsen om at det er en enkelt, "sann" populasjon der ute i den teoretiske eteren som er evig, fast og urokkelig mot hvilken våre ufullkomne eksempler kan evalueres, gjør lite for å fremme læring og kunnskap.

• Reduksjonismen som ligger i mandater som Occams barberhøvel er inkonsistent med tiden. ELLER kan oppsummeres som: "Blant konkurrerende hypoteser, bør den som har færrest antagelser velges." Alternativene inkluderer Epicurus ' Principle of Multiple Explanations , som grovt sier: "Hvis mer enn en teori er konsistent med dataene, beholder du dem alle." > Hele fagfellevurderingssystemet trenger desperat en revisjon.

* Rediger *

• Med enorme data som inneholder titalls millioner funksjoner, er det ikke lenger behov for en variabel valgfase.

• I tillegg er inferensiell statistikk meningsløs.