Wie erkläre ich den Unterschied zwischen RPCA und PCA?


Antwort 1:

Edit: Doh, ich habe gerade festgestellt, dass Sie möglicherweise nach Robust-PCA und nicht nach Principal Component Regression (auch bekannt als Regression-PCA) fragen. Für das, was es wert ist, hier eine Antwort auf Letzteres.

Manchmal sind während der Regression Gruppen von Eingabevariablen (Kovariaten) kollinear (siehe eine andere Frage zur Multikollinearität). Dies bedeutet, dass Eingaben, die sich gegenseitig sehr vorhersagen, aus Sicht der Ausgabe eine Art Redundanz implizieren: Wenn Sie dies vorhersagen können

yy

gut mit

xx

, Sie brauchen keine weitere Kopie von

xx

.

Leider sieht die OLS-Regression dies und versucht dies zu kompensieren, indem sie kollinearen Eingaben eine ähnliche Verantwortung zuweist. Überlegen Sie sich im obigen Beispiel, wie viele verschiedene Ebenen existieren, die nahezu optimal sind (im Sinne der kleinsten Quadrate).

Unendlich, richtig? Jede Ebene, die durch die Punkte verläuft, unabhängig von der Drehung um die grünen Punkte: Stellen Sie sich eine Art Achse vor, die in der Luft verankert ist und durch die grünen Punkte verläuft, und dann wird die rote Ebene darauf geschwenkt.

Erschwerend kommt hinzu, dass durch endgültige Störung der Daten die endgültigen Regressionsgewichte, die im Wesentlichen den Gradienten der Ebene steuern, sehr unterschiedlich sein können. Dies zeigt an, dass das Modell instabil ist.

Was ist also eine prinzipielle Methode, um korrelierende Eingabevariablen zusammenzuführen? Nun, hier ist, was Regression-PCA tun wird:

Zuerst wird PCA an den Eingängen (den blauen Punkten) durchgeführt, dh es wird eine blaue Linie in der XZ-Ebene gefunden, auf die die blauen Punkte projiziert werden (so dass die Gesamtprojektionsentfernung minimiert wird). Diese Linie fungiert jetzt als neue Achse - nennen Sie es

bb

,

und das ursprüngliche Regressionsproblem ist nun im Referenzrahmen von gelöst

byb-y

, eine lineare Variable mit einer Variablen.

In gewisser Weise lassen wir PCA diese Gruppierungen ähnlicher Variablen finden, anstatt es OLS mit der oben dargestellten inhärenten Gefahr der Instabilität zu überlassen.

Schließlich, um die Regression auf das Original umzugestalten

xzyx-z-y

Der Raum, unabhängig davon, welcher Regressionskoeffizient der abgeleiteten Variablen b gegeben wurde (hier ist es 0,5), wird entsprechend den Gewichten der PCA-abgeleiteten Achse gerecht aufgeteilt (so dass die endgültigen RPCA-Gewichte sind

(0.25,0.25)(0.25, 0.25)

).