Noen fakta om matriserangeringer, tilbys uten bevis (men bevis på alle eller nesten alle skal enten gis i standard lineære algebra-tekster, eller i noen tilfeller angis som øvelser etter å ha gitt nok informasjon til å kunne gjøre det) :

Hvis $ A $ og $ B $ er to matriser som er i samsvar, så:

(i) kolonnerangering på $ A $ = radrangering på $ A $

(ii) $ \ text {rang} (A) = \ text {rang} (A ^ T) = \ text {rang} (A ^ TA) = \ text {rang} (AA ^ T) $

(iii) $ \ text {rang} (AB) \ leq \ min (\ text {rang} (A), \ text {rang} (B)) $

( iv) $ \ text {rang} (A + B) \ leq \ text {rang} (A) + \ text {rang} (B) $

(v) hvis $ B $ er kvadratmatrise av full rang, deretter $ \ text {rang} (AB) = \ text {rang} (A) $

Vurder $ n \ ganger p $ -matrisen for eksempeldata, $ y $. Fra ovenstående er rangeringen på $ y $ maksimalt $ \ min (n, p) $.

Videre vil rang fra $ S $ ikke være større enn rangeringen av $ y $ fra ovennevnte (ved å vurdere beregningen av $ S $ i matriseform, med kanskje noen forenkling).

Hvis $ n<p $ så $ \ text {rang} (y) <p $ i så fall $ \ text {rang} (S) <p $.

Det korte svaret på spørsmålet ditt er at rangerer $ (S) \ le n - 1 $. Så hvis $ p > n $, så er $ S $ entall.

For et mer detaljert svar, husk at den (objektive) samvariabilitetsmatrisen kan skrives som

$$ S = \ frac {1} {n-1} \ sum_ {i = 1} ^ n (x_i - \ bar {x}) (x_i - \ bar {x}) ^ T. $ $

Effektivt summerer vi $ n $ -matriser som hver har en rangering på 1. Forutsatt at observasjonene er lineært uavhengige, i noen forstand bidrar hver observasjon $ x_i $ 1 til rangering $ (S) $ og en 1 blir trukket fra rangen (hvis $ p > n $) fordi vi sentrerer hver observasjon med $ \ bar {x} $. Imidlertid, hvis multikollinearitet er tilstede i observasjonene, kan rangering $ (S) $ reduseres, noe som forklarer hvorfor rangeringen kan være mindre enn $ n - 1 $.

Det har gått mye arbeid med å studere dette problemet. For eksempel skrev en kollega av meg og jeg et papir om dette samme emnet, der vi var interessert i å bestemme hvordan vi skal fortsette hvis $ S $ er entall når de brukes på lineær diskriminerende analyse i innstillingen $ p \ gg n $.

Når du ser på situasjonen på riktig måte, er konklusjonen intuitivt åpenbar og umiddelbar.

Dette innlegget tilbyr to demonstrasjoner. Den første, rett nedenfor, er med ord. Det tilsvarer en enkel tegning som vises helt på slutten. I mellom er en forklaring på hva ordene og tegningen betyr.

Kovariansmatrisen for $ n $ $ p $ -variøse observasjoner er en $ p \ ganger p $ -matrise beregnet av venstre- multiplisere en matrise $ \ mathbb {X} _ {np} $ (de resenterte dataene) med dens transponere $ \ mathbb {X} _ {pn} ^ \ prime $. Dette produktet av matriser sender vektorer gjennom en rørledning av vektorrom der dimensjonene er $ p $ og $ n $. Følgelig vil kovariansmatrisen, qua lineær transformasjon, sende $ \ mathbb {R} ^ n $ inn i et underområde hvis dimensjon maksimalt er $ \ min (p, n) $. Det er øyeblikkelig at rangeringen til kovariansmatrisen ikke er større enn $ \ min (p, n) $. Følgelig, hvis $ p \ gt n $ så er rangen på det meste $ n $, som - å være strengt mindre enn $ p $ - betyr at kovariansematrisen er entall.

All denne terminologien er fullstendig forklart i resten av dette innlegget.

(Som Amoeba vennlig påpekt i en nå slettet kommentar, og viser i et svar på et beslektet spørsmål, ligger bildet av $ \ mathbb X $ faktisk i et kodedimensjon-ett underområde av $ \ mathbb {R} ^ n $ (bestående av vektorer der komponentene summerer seg til null) fordi kolonnene har blitt resentrert på null. Derfor er rangeringen til samvariabelmatrisen $ \ frac {1} {n-1} \ mathbb {X} ^ \ prime \ mathbb {X} $ kan ikke overstige $ n-1 $.)

Lineær algebra handler om å spore dimensjoner på vektorrom. Du trenger bare å sette pris på noen få grunnleggende konsepter for å ha en dyp intuisjon for påstander om rang og singularitet:

1. Matrisemultiplikasjon representerer lineære transformasjoner av vektorer. En $ m \ ganger n $ matrise $ \ mathbb {M} $ representerer en lineær transformasjon fra et $ n $ -dimensjonalt rom $ V ^ n $ til et $ m $ -dimensjonalt rom $ V ^ m $. Spesielt sender den hvilken som helst $ x \ i V ^ n $ til $ \ mathbb {M} x = y \ i V ^ m $. At dette er en lineær transformasjon følger umiddelbart av definisjonen av lineær transformasjon og grunnleggende aritmetiske egenskaper til matriksmultiplikasjon.

2. Lineære transformasjoner kan aldri øke dimensjonene. Dette betyr at bildet av hele vektorområdet $ V ^ n $ under transformasjonen $ \ mathbb M $ (som er et undervektorrom på $ V ^ m $) kan ha en dimensjon som ikke er større enn $ n $. Dette er en (enkel) setning som følger av definisjonen av dimensjon.

3. Dimensjonen til ethvert undervektorrom kan ikke overstige den for rommet det ligger i . Dette er en teorem, men igjen er det åpenbart og lett å bevise.

4. rangeringen av en lineær transformasjon er dimensjonen til bildet. Rangeringen til en matrise er rangen for den lineære transformasjonen den representerer. Dette er definisjoner.

5. En entall matrise $ \ mathbb {M} _ {mn} $ har rang strengt mindre enn $ n $ (dimensjonen til domenet). Med andre ord har bildet et mindre dimensjon. Dette er en definisjon.

For å utvikle intuisjon hjelper det å se dimensjonene. Jeg vil derfor skrive dimensjonene til alle vektorer og matriser umiddelbart etter dem, som i $ \ mathbb {M} _ {mn} $ og $ x_n $. Dermed er den generelle formelen

$$ y_m = \ mathbb {M} _ {mn} x_n $$

ment å bety at $ m \ times n $ matrise $ \ mathbb M $ produserer en $ m $ -vektor $ y $ når den brukes på $ n $ -vektoren $ x $.

Matriseprodukter kan betraktes som en "rørledning" for lineære transformasjoner. Generelt sett anta at $ y_a $ er en $ a $ -dimensjonsvektor som skyldes de påfølgende applikasjonene av de lineære transformasjonene $ \ mathbb {M} _ {mn}, \ mathbb {L} _ {lm}, \ ldots, \ mathbb {B} _ {bc}, $ og $ \ mathbb {A} _ {ab} $ til $ n $ -vektor $ x_n $ kommer fra mellomrommet $ V ^ n $. Dette tar vektoren $ x_n $ suksessivt gjennom et sett med vektorrom med dimensjoner $ m, l, \ ldots, c, b, $ og til slutt $ a $.

Se etter flaskehalsen : fordi dimensjoner ikke kan øke (punkt 2) og delområder ikke kan ha dimensjoner større enn mellomrommene de ligger i (punkt 3), følger det at dimensjonen til bildet på $ V ^ n $ ikke kan overstige minste dimensjon $ \ min (a, b, c, \ ldots, l, m, n) $ oppstått i rørledningen.

Dette diagrammet av rørledningen, viser da resultatet når det påføres produktet $ \ mathbb {X} ^ \ prime \ mathbb {X} $: