I regresjon anbefales det ofte å sentrere variablene slik at prediktorene har gjennomsnitt $ 0 $ . Dette gjør det slik at avskjæringsuttrykket tolkes som den forventede verdien av $ Y_i $ når prediktorverdiene er satt til deres middel . Ellers tolkes skjæringspunktet som den forventede verdien av $ Y_i $ når prediktorene er satt til 0, noe som kanskje ikke er en realistisk eller tolkbar situasjon (for eksempel hva hvis prediktorer var høyde og vekt?). En annen praktisk årsak til skalering ved regresjon er når en variabel har en veldig stor skala, f.eks. hvis du brukte befolkningsstørrelsen i et land som en prediktor. I så fall kan regresjonskoeffisientene være på veldig liten størrelsesorden (f.eks. $ 10 ^ {- 6} $ ) som kan være litt irriterende når du leser datamaskinutdata, så du kan konvertere variabelen til for eksempel befolkningsstørrelse i millioner. Konvensjonen om at du standardiserer spådommer eksisterer primært slik at enhetene til regresjonskoeffisientene er de samme.

Som @gung antyder og @ MånsT viser eksplisitt (+1 til begge, btw), påvirker ikke sentrering / skalering din statistiske inferens i regresjonsmodeller - estimatene justeres riktig og $ p $ -verdiene vil være de samme.

Andre situasjoner der sentrering og / eller skalering kan være nyttig:

• når du prøver å summe eller gjennomsnittsvariabler som er i forskjellige skalaer, kanskje for å lage en sammensatt poengsum av noe slag. Uten skalering kan det være slik at en variabel har større innvirkning på summen utelukkende på grunn av skalaen, noe som kan være uønsket.

• For å forenkle beregninger og notasjon. Eksempelvis er kovariansematrise av en matrise med verdier som er sentrert av deres eksempler, ganske enkelt $ X'X $ . Tilsvarende, hvis en univariat tilfeldig variabel $ X $ har vært middel sentrert, så $ {\ rm var} (X) = E (X ^ 2) $ og variansen kan estimeres fra et utvalg ved å se på eksemplets gjennomsnitt av kvadratene til de observerte verdiene.

• Relatert til nevnte, PCA kan bare tolkes som dekomponering av enestående verdi av en datamatrise når kolonnene først har blitt sentrert ved hjelp av deres midler.

Merk at skalering ikke er nødvendig i de to siste punktene jeg nevnte og sentrering kan ikke være nødvendig i den første punkten jeg nevnte, så de to trenger ikke å gå hånd og hånd til enhver tid.

Du har kommet over en felles tro. Generelt sett trenger du imidlertid ikke å sentrere eller standardisere dataene dine for flere regresjoner. Ulike forklaringsvariabler er nesten alltid på forskjellige skalaer (dvs. målt i forskjellige enheter). Dette er ikke noe problem; betaene blir estimert slik at de konverterer enhetene til hver forklarende variabel til enhetene i responsvariabelen på riktig måte. En ting som noen ganger sier er at hvis du har standardisert variablene dine først, kan du tolke betaene som mål av betydning. Hvis for eksempel $ \ beta_1 = .6 $ , og $ \ beta_2 = .3 $ , den første forklaringsvariabelen er dobbelt så viktig som den andre. Selv om denne ideen er tiltalende, er den dessverre ikke gyldig. Det er flere problemer, men det enkleste å følge er kanskje at du ikke har noen måte å kontrollere mulige rekkevidde i variablene. Å utlede "viktigheten" av forskjellige forklaringsvariabler i forhold til hverandre er et veldig vanskelig filosofisk spørsmål. Ingenting av det er å antyde at standardisering er dårlig eller feil , bare at det vanligvis ikke er nødvendig .

Det eneste tilfellet jeg kan tenke meg på toppen av hodet mitt der sentrering er nyttig, er før jeg lager maktvilkår. La oss si at du har en variabel, $ X $ , som varierer fra 1 til 2, men du mistenker et krøllete forhold til svarvariabelen, og så vil du lage en $ X ^ 2 $ termin. Hvis du ikke sentrerer $ X $ først, vil den kvadratiske termen din være sterkt korrelert med $ X $ , som kan gjørme estimeringen av beta. Sentrering først løser dette problemet.

(Oppdatering lagt til mye senere :) En analog sak som jeg glemte å nevne, er å skape interaksjon vilkår. Hvis et samspill / produktuttrykk opprettes fra to variabler som ikke er sentrert på 0, vil en viss mengde kollinearitet bli indusert (med den nøyaktige mengden avhengig av forskjellige faktorer). Sentrering først løser dette potensielle problemet. For en mer utfyllende forklaring, se dette utmerkede svaret fra @Affine: Kollinearitetsdiagnostikk bare problematisk når samhandlingsbegrepet er inkludert.

I tillegg til merknadene i de andre svarene, vil jeg påpeke at skalaen og plasseringen av de forklarende variablene ikke påvirker gyldigheten til regresjonsmodellen på noen måte.

Vurder modellen $ y = \ beta_0 + \ beta_1x_1 + \ beta_2x_2 + \ ldots + \ epsilon $.

estimatorene for minste kvadrat for $ \ beta_1, \ beta_2, \ ldots $ påvirkes ikke av skifting. Årsaken er at dette er bakken på den passende overflaten - hvor mye overflaten endres hvis du endrer $ x_1, x_2, \ ldots $ en enhet. Dette avhenger ikke av beliggenhet. (Estimatoren på $ \ beta_0 $ gjør det imidlertid.)

Ved å se på ligningene for estimatorene kan du se at skalering av $ x_1 $ med en faktor $ a $ skalerer $ \ hat {\ beta } _1 $ med en faktor $ 1 / a $. For å se dette, vær oppmerksom på at

$$ \ hat {\ beta} _1 (x_1) = \ frac {\ sum_ {i = 1} ^ n (x_ {1, i} - \ bar {x } _1) (y_i- \ bar {y})} {\ sum_ {i = 1} ^ n (x_ {1, i} - \ bar {x} _1) ^ 2}. $$

Dermed

$$ \ hat {\ beta} _1 (ax_1) = \ frac {\ sum_ {i = 1} ^ n (ax_ {1, i} -a \ bar {x} _1) (y_i- \ bar {y})} {\ sum_ {i = 1} ^ n (ax_ {1, i} -a \ bar {x} _1) ^ 2} = \ frac {a \ sum_ {i = 1 } ^ n (x_ {1, i} - \ bar {x} _1) (y_i- \ bar {y})} {a ^ 2 \ sum_ {i = 1} ^ n (x_ {1, i} - \ bar {x} _1) ^ 2} = \ frac {\ hat {\ beta} _1 (x_1)} {a}. $$

Ved å se på den tilsvarende formelen for $ \ hat {\ beta } _2 $ (for eksempel) er det (forhåpentligvis) klart at denne skaleringen ikke påvirker estimatorene for de andre bakkene.

Således tilsvarer skalering bare skalering av de tilsvarende bakkene.

Som gung påpeker, liker noen mennesker å omskalere med standardavviket i håp om at de vil kunne tolke hvor "viktige" de forskjellige variablene er. Selv om denne praksisen kan settes spørsmålstegn ved, kan det bemerkes at dette tilsvarer å velge $ a_i = 1 / s_i $ i beregningene ovenfor, hvor $ s_i $ er standardavviket på $ x_1 $ (som i en merkelig ting å si for å begynne med, siden $ x_i $ antas å være deterministisk).

Hvis du bruker gradientnedstigning for å passe til modellen din, kan standardisering av kovariater øke hastigheten på konvergensen (for når du har ikke-skalerte kovariater, kan de korresponderende parametrene dominere gradienten uhensiktsmessig). For å illustrere dette, noen R-koder:

  > mål <- funksjon (par) {par [1] ^ 2 + par [2] ^ 2} # kvadratisk funksjon i to variabler med et minimum ved (0,0) > optim (c (10,10), objektiv, metode = "BFGS") $ teller #returner antall ganger funksjonen og dens gradient måtte evalueres til konvergensfunksjonsgradient 12 3 > mål2 < - funksjon (par) {par [1] ^ 2 + 0.1 * par [2] ^ 2} #a transformasjon av ovennevnte funksjon, tilsvarende uskalerte kovariater> optim (c (10,10), objektiv2, metode = "BFGS" ) $ tellingsfunksjon gradient 19 10 > optim (c (10,1), objektiv2, metode = "BFGS") $ tellinger #skalering av innledende parametere får deg ikke tilbake til original ytelsesfunksjon gradient 12 8  

Også for noen applikasjoner av SVM-er kan skalering forbedre prediktiv ytelse: Funksjonsskalering i støttevektordatabeskrivelse.

Jeg foretrekker "solide grunner" for både sentrering og standardisering (de eksisterer veldig ofte). Generelt har de mer å gjøre med datasettet og problemet enn med dataanalysemetoden.

Svært ofte foretrekker jeg å sentrere (dvs. forskyve opprinnelsen til dataene) til andre punkter som er fysisk / kjemisk / biologisk / ... mer meningsfull enn gjennomsnittet (se også Makros svar), f.eks

• gjennomsnittet av en kontrollgruppe

• blankt signal

Numerisk stabilitet er en algoritmerelatert grunn til å sentrere og / eller skalere data.

Ta også en titt på det lignende spørsmålet om standardisering. Som også dekker "bare sentrum".

For å illustrere det numeriske stabilitetsproblemet som er nevnt av @cbeleites, er det et eksempel fra Simon Wood på hvordan du kan "bryte" lm () . Først genererer vi noen enkle data og passer til en enkel kvadratisk kurve.

  set.seed (1); n <- 100xx <- sort (runif (n)) y <- .2 * (xx-.5) + (xx-.5) ^ 2 + rnorm (n) *. 1x <- xx + 100b <- lm (y ~ x + I (x ^ 2)) plot (x, y) linjer (x, forutsi (b), col = 'rød')  

Men hvis vi legger 900 til X, så bør resultatet være stort sett det samme bortsett fra skiftet til høyre, ikke? Dessverre ikke ...

  X <- x + 900B <- lm (y ~ X + I (X ^ 2)) linjelinjer (X, y) (X, forutsi (B) , col = 'blue')  

Edit for å legge til kommentaren av @Scortchi - hvis vi ser på objekt returnert av lm () ser vi at det kvadratiske begrepet ikke er estimert og vises som NA.

  > BCall: lm (formel = y ~ X + I (X ^ 2)) Koeffisienter: (Intercept) XI (X ^ 2) -139.3927 0.1394 NA 

Og som foreslått av @Scortchi, hvis vi ser på modellmatrisen og prøver å løse direkte, "bryter den ".

  > X <- model.matrix (b) ## få samme modellmatrise som brukes ovenfor> beta.hat <- løse (t (X)% *% X, t (X) % *% y) ## direkte løsning av 'normale ligninger' Feil i løse. standard (t (X)% *% X, t (X)% *% y): systemet er beregningsvis entall: gjensidig tilstandstall = 3.9864e -19  

lm () gir meg imidlertid ingen advarsler eller annen feilmelding enn NA s på I (X ^ 2) -linjen i -sammendrag (B) i R-3.1.1. algoritmer kan selvfølgelig "ødelegges" på forskjellige måter med forskjellige eksempler.

Jeg tviler alvorlig på om sentrering eller standardisering av de opprinnelige dataene virkelig kan redusere multikollinearitetsproblemet når kvadratiske termer eller andre interaksjonsuttrykk er inkludert i regresjonen, da noen av dere, spesielt gung, har anbefalt ovenfor.

For å illustrere poenget mitt, la oss vurdere et enkelt eksempel.

Anta at den sanne spesifikasjonen har følgende form slik at

$$ y_i = b_0 + b_1x_i + b_2x_i ^ 2 + u_i $$

Dermed tilsvarer OLS ligning er gitt av

$$ y_i = \ hat {y_i} + \ hat {u_i} = \ hat {b_0} + \ hat {b_1} x_i + \ hat {b_2} x_i ^ 2 + \ hat {u_i} $$

hvor $ \ hat {y_i} $ er den monterte verdien på $ y_i $, $ u_i $ er den gjenværende, $ \ hat {b_0} $ - $ \ hat {b_2} $ betegner OLS-estimatene for $ b0 $ - $ b2 $ - parametrene som vi til slutt er interessert i. For enkelhets skyld, la $ z_i = x_i ^ 2 $ deretter.

Vanligvis vet vi $ x $ og $ x ^ 2 $ vil sannsynligvis være sterkt korrelert, og dette vil føre til multikollinearitetsproblemet. For å redusere dette vil et populært forslag være å sentrere de opprinnelige dataene ved å trekke gjennomsnittet av $ y_i $ fra $ y_i $ før du legger til kvadratiske termer.

Det er ganske enkelt å vise at gjennomsnittet av $ y_i $ er gitt som følger: $$ \ bar {y} = \ hat {b_0} + \ hat {b_1} \ bar {x} + \ hat {b_2} \ bar {z} $$ hvor $ \ bar {y} $, $ \ bar {x} $, $ \ bar {z} $ betegner henholdsvis $ y_i $, $ x_i $ og $ z_i $.

Derfor trekker du $ \ bar {y} $ fra $ y_i $ gir

$$ y_i- \ bar {y} = \ hat {b_1} (x_i- \ bar {x}) + \ hat {b_2} (z_i- \ bar {z}) + \ hat {u_i} $$

der $ y_i- \ bar {y} $, $ x_i- \ bar {x} $ og $ z_i- \ bar {z} $ er sentrerte variabler. $ \ hat {b_1} $ og $ \ hat {b_2} $ - parametrene som skal estimeres, forblir de samme som i den opprinnelige OLS-regresjonen.

Det er imidlertid klart at i mitt eksempel, sentrerte RHS-variabler $ x $ og $ x ^ 2 $ har nøyaktig samme kovarians / korrelasjon som den usentrerte $ x $ og $ x ^ 2 $, dvs. $ \ text {corr} (x, z) = \ text {corr } (x- \ bar {x}, z- \ bar {z}) $.

Oppsummert, hvis min forståelse av sentrering er riktig, så tror jeg ikke sentreringsdata vil være til hjelp for å dempe MC-problemet forårsaket av å inkludere kvadratiske termer eller andre ordre av høyere orden i regresjon.

Jeg vil gjerne høre dine meninger!