Spørsmål om robusthet er veldig vanskelig å svare godt på - fordi antagelsene kan bli brutt på så mange måter, og på hver måte i ulik grad. Simuleringsarbeid kan bare prøve en veldig liten del av de mulige bruddene.

Gitt databehandlingstilstanden, tror jeg det ofte er verdt tiden å kjøre både en parametrisk og en ikke -parametrisk test, hvis begge er tilgjengelige. Du kan deretter sammenligne resultatene.

Hvis du virkelig er ambisiøs, kan du til og med gjøre en permutasjonstest.

Hva om Alan Turing hadde gjort jobben sin før Ronald Fisher gjorde sitt? :-).

@PeterFlom traff spikeren død med sin første setning.

Jeg prøver å gi en grov oppsummering av hvilke studier jeg har sett (hvis du vil ha lenker kan det være en stund):

Samlet sett er de to prøvene t-testen rimelig makt-robust til symmetrisk ikke-normalitet (den sanne type-I-feilraten påvirkes noe av kurtosis, kraften blir mest påvirket av det). / p>

Når de to prøvene er litt skjev i samme retning, er ikke den ensidige t-testen ikke lenger objektiv. T-statistikken er skjev motsatt av fordelingen, og har mye mer kraft hvis testen er i en retning enn om den er i den andre. Hvis de er skjev i motsatt retning, kan type I-feilfrekvensen påvirkes sterkt.

Tung skjevhet kan ha større innvirkning, men generelt sett moderat skjevhet med en tosidig test er ikke så ille hvis du ikke har noe imot testen din, i hovedsak å tildele mer av kraften til den ene retningen som den andre.

Kort sagt - den tosidede, to-prøven t-testen er rimelig robust mot slike ting hvis du tåler en viss innvirkning på signifikansnivået og noe mild forspenning.

Det er mange, mange måter for distribusjoner å være ikke-normale, men de er ikke dekkes ikke av disse kommentarene.

@PeterFlom har allerede nevnt at simuleringsstudier aldri kan dekke alle scenarier og muligheter og derfor ikke kan føre til et definitivt svar. Imidlertid synes jeg fortsatt det er nyttig å faktisk utforske et problem som dette ved å gjennomføre noen simuleringer (dette skjer tilfeldigvis akkurat den typen øvelse som jeg liker å bruke når jeg introduserer ideen om Monte Carlo-simuleringsstudier til studenter). Så la oss faktisk prøve dette. Jeg bruker R for dette.

Koden

  n1 <- 33n2 <- 45mu1 <- 0mu2 <- 0sd1 <- 1sd2 <- 1iters <- 100000p1 <- p2 <- p3 <- p4 <- p5 <- rep (NA, iters: for) x1 <- rnorm (n1, mu1, sd1) x2 <- rnorm (n2, mu2, sd2) p1 [i] <- t.test (x1, x2) $ p.verdi ### begge variablene skjevt til høyre x1 <- (rchisq (n1, df = 1) - 1) / sqrt (2) * sd1 + mu1 x2 <- (rchisq (n2, df = 1) - 1) / sqrt (2) * sd2 + mu2 p2 [i ] <- t.test (x1, x2) $ p.verdi ### begge variablene skjevt til venstre x1 <- -1 * (rchisq (n1, df = 1) - 1) / sqrt (2) * sd1 + mu1 x2 <- -1 * (rchisq (n2, df = 1) - 1) / sqrt (2) * sd2 + mu2 p3 [i] <- t.test (x1, x2) $ p.verdi ### først skjevt til venstre, andre skjevt til høyre x1 <- -1 * (rchisq (n1, df = 1) - 1) / sqrt (2) * sd1 + mu1 x2 <- (rchisq (n2, df = 1) - 1) / sqrt (2) * sd2 + mu2 p4 [i] <- t.test (x1, x2) $ p.verdi ### første skjevt til høyre, andre skjevt til venstre x1 <- (rchisq (n1, df = 1) - 1) / sqrt (2) * sd1 + mu1 x2 <- -1 * (rchisq (n2, df = 1) - 1) / sqrt (2) * sd2 + mu2 p5 [i] <- t.test (x1, x2) $ p .verdi} utskrift (rund ((gjelder (cbind (p1, p2, p3, p4, p5), 2, funksjon (p) betyr (p < = .05)), 3))  

Forklaring

1. Først angir vi gruppestørrelsen ( n1 og n2 ), den sanne gruppen betyr ( mu1 og mu2 ), og de sanne standardavvikene ( sd1 og sd2).

2. Så definere antall iterasjoner å kjøre og sette opp vektorer for å lagre p-verdiene i.

3. Så simulerer jeg data under 5 scenarier:

   1. Begge distribusjonene er normale.
   2. Begge fordelingen er skjevt til høyre.
   3. Begge fordelingen er skjev til venstre.
   4. Den første fordelingen er skjev til den venstre, den andre til høyre.
   5. Den første fordelingen er skjev mot høyre, den andre til venstre.

   Merk at jeg bruker chi-kvadratiske fordelinger for å generere de skjevfordelingene. Med en grad av frihet er det sterkt skjev fordeling. Siden det sanne gjennomsnittet og variansen til en chi-kvadratfordeling med en grad av frihet er lik henholdsvis 1 og 2 ( se wikipedia), omskaler jeg disse fordelingene til først å ha gjennomsnitt 0 og standardavvik 1 og omskal dem deretter til ønsket ønsket gjennomsnitt og standardavvik (dette kan gjøres i ett trinn, men å gjøre det på denne måten kan være tydeligere).

4. I hvert tilfelle, Jeg bruker t-testen (Welchs versjon - man kan selvsagt også vurdere Students versjon som antar like avvik i de to gruppene) og lagre p-verdien til vektorene som ble satt opp tidligere.

5. Til slutt, når alle iterasjonene er fullført, beregner jeg for hver vektor hvor ofte p-verdien er lik eller under .05 (dvs. at testen er "signifikant"). Dette er den empiriske avvisningshastigheten.

Noen resultater

1. Simulering nøyaktig som beskrevet ovenfor gir :

     p1 p2 p3 p4 p5 0,049 0,048 0,047 0,070 0,070  

   Så når skjevheten er i samme retning i begge gruppene, ser Type I-feilraten ut til å være ganske nær å være godt kontrollert (dvs. den er nær den nominelle $ \ alpha = .05 $). Når skjevheten er i motsatt retning, er det noe svak inflasjon i Type I-feilraten.

2. Hvis vi endrer koden til mu1 <- .5 kode>, så får vi:

     p1 p2 p3 p4 p5 0.574 0.610 0.606 0.592 0.602  

   Så, i forhold til tilfellet der begge distribusjonene er normale ( som antatt av testen), ser kraften ut til å være litt høyere når skjevheten er i samme retning! Hvis du blir overrasket over dette, kan det være lurt å kjøre dette på nytt noen ganger (selvfølgelig, hver gang du får litt forskjellige resultater), men mønsteret vil forbli.

   Merk at vi må være forsiktige med å tolke de empiriske kraftverdiene under de to scenariene der skjevheten er i motsatt retning, siden Type I-feilfrekvensen ikke er helt nominell (som et ekstremt tilfelle, antar at jeg alltid avviser uansett hva dataene viser; da vil jeg alltid ha en test med maksimal kraft, men selvfølgelig har testen også en ganske oppblåst type I-feilrate.

Man kan begynne å utforske en rekke verdier for mu1 kode> (og mu2 - men det som virkelig betyr noe er forskjellen mellom de to) og, enda viktigere, begynn å endre de sanne standardavvikene til de to gruppene (dvs. sd1 og sd2 ) og spesielt gjør dem ulik. Jeg holdt meg også til prøvestørrelsene nevnt av OP, men det kunne selvfølgelig også justeres. Og skjevhet kunne selvfølgelig ha mange andre former enn det vi ser i en chi-kvadratfordeling med en grad av frihet. Jeg synes fortsatt det er nyttig å nærme seg ting til tross for at det ikke kan gi et definitivt svar.

I din situasjon vil t-testen sannsynligvis være robust når det gjelder type I feilrate, men ikke Type II feilrate. Du vil sannsynligvis oppnå mer kraft gjennom enten a) en Kruskal-Wallis-test, eller b) en normaliserende transformasjon før en t-test.

Jeg baserer denne konklusjonen på to Monte Carlo-studier. I den første ( Khan & Rayner, 2003) ble skjevhet og kurtose indirekte manipulert via parametrene til g-og-k distribusjonsfamilien, og den resulterende kraften ble undersøkt. Det er viktig at Kruskal-Wallis-testens kraft ble mindre skadet av ikke-normalitet, spesielt for n> = 15.

Noen få forbehold / kvalifikasjoner om denne studien: Makt ble ofte skadet av høy kurtose, men det var mindre påvirket av skjevhet. Ved første øyekast kan dette mønsteret virke mindre relevant for situasjonen din, gitt at du bemerket et problem med skjev, ikke kurtose. Imidlertid satser jeg på at overflødig kurtose også er ekstrem i ditt tilfelle. Husk at overflødig kurtose vil være minst like høy som skjev ^ 2 - 2. (La overflødig kurtose være det 4. standardiserte øyeblikket minus 3, slik at overflødig kurtosis = 0 for en normalfordeling.) Merk deg også at Khan og Rayner ( 2003) undersøkte ANOVAer med 3 grupper, men resultatene deres vil sannsynligvis generalisere til en t-test med to prøver.

En annen relevant studie ( Beasley, Erikson, & Allison, 2009) undersøkte både type I- og type II-feil med forskjellige ikke-normale fordelinger, for eksempel en Chi-squared (1) og Weibull (1, .5). For prøvestørrelser på minst 25 kontrollerte t-testen tilstrekkelig Type I-feilrate på eller under det nominelle alfa-nivået. Effekten var imidlertid høyest med enten en Kruskal-Wallis-test eller med en rangbasert invers normal transformasjon (Blom-score) påført før t-testen. Beasley og kolleger argumenterte generelt mot den normaliserende tilnærmingen, men det bør bemerkes at den normaliserende tilnærmingen kontrollerte Type I-feilraten for n> = 25, og dens kraft oversteg noen ganger litt den for Kruskal-Wallis-testen. Det vil si at den normaliserende tilnærmingen virker lovende for din situasjon. Se tabell 1 og 4 i artikkelen for detaljer.

Referanser:

Khan, A., & Rayner, GD (2003). Robusthet til ikke-normalitet av vanlige tester for plasseringsproblemet med mange eksempler. Journal of Applied Mathematics and Decision Sciences, 7 , 187-206.

Beasley, TM, Erickson, S., & Allison, DB (2009). Rangbaserte inverse normale transformasjoner blir i økende grad brukt, men er de fortjent? Behavioral Genetics, 39 , 580-595.

Først og fremst, hvis du antar at fordelingen av de to prøvene er forskjellig, må du sørge for at du bruker Welchs versjon av t-testen som antar ulik avvik mellom gruppene. Dette vil i det minste forsøke å redegjøre for noen av forskjellene som oppstår på grunn av fordelingen.

Hvis vi ser på formelen for Welchs t-test:

$$ t = {\ overline {X} _1 - \ overline {X} _2 \ over s _ {\ overline {X} _1 - \ overline {X} _2}} $$

hvor $ s _ {\ overline {X } _1 - \ overline {X} _2} $ er

$$ s _ {\ overline {X} _1 - \ overline {X} _2} = \ sqrt {{s_1 ^ 2 \ over n_1} + {s_2 ^ 2 \ over n_2}} $$

vi kan se at hver gang det er en s vi vet at det tas hensyn til avviket. La oss forestille oss at de to avvikene faktisk er de samme, men den ene er skjev, noe som fører til et annet variansestimat. Hvis dette estimatet av variansen faktisk ikke er representativ for dataene dine på grunn av skjevhet, vil den faktisk forspenningseffekten i hovedsak være kvadratroten til den forspenningen delt på antall datapunkter som brukes til å beregne den. Dermed dempes effekten av dårlige variansestimatorer litt av kvadratroten og en høyere n, og det er sannsynligvis grunnen til at konsensus er at den forblir en robust test.

Det andre problemet med skjev fordeling er at gjennomsnittlig beregning også vil bli påvirket, og dette er sannsynligvis der de virkelige problemene med testforutsetningsbrudd er siden midlene er relativt følsomme for skjevhet. Og robustheten til testen kan bestemmes omtrent ved å beregne forskjellen i gjennomsnitt, sammenlignet med forskjellen i medianer (som en idé). Kanskje du til og med kan prøve å erstatte middelforskjellen med forskjellen i medianer i t-testen som et mer robust mål (jeg er sikker på at noen har diskutert dette, men jeg kunne ikke finne noe på google raskt nok til å koble til).

Jeg vil også foreslå å kjøre en permutasjonstest hvis alt du gjør er en t-test. Permutasjonstesten er en nøyaktig test, uavhengig av distribusjonsforutsetninger. Viktigst, permutasjonstester og t-test vil føre til identiske resultater hvis forutsetningene for den parametriske testen blir oppfylt. Derfor kan robusthetsmålene du søker være 1 - forskjellen mellom permutasjons- og t-testens p-verdier, hvor en score på 1 innebærer perfekt robusthet og 0 innebærer ikke robust i det hele tatt.