Wie kann ich den Unterschied zwischen EM-Algorithmus und MLE erkennen?


Antwort 1:

Der Erwartungsmaximierungsalgorithmus (EM) versucht, eine Maximum-Likelihood-Schätzung (MLE) für die Parameter eines Modells mit latenten Variablen zu finden. Die Parameter sind nicht die latenten Variablen, sondern werden dabei an den Rand gedrängt. Während nicht garantiert wird, dass EM zum globalen Maximum konvergiert, ist es garantiert, dass es zu einem Maximum konvergiert und die Wahrscheinlichkeit des Modells bei jedem Schritt verbessert. Ein typisches Beispiel ist der Baum-Welch-Algorithmus, der zur Anpassung von Zustandsraummodellen verwendet wird.


Antwort 2:

Ich studiere dieses Konzept jetzt und hoffe, dass meine Antwort richtig ist, aber ich würde mich über Feedback freuen, um es auch zu verbessern.

Aus meiner Sicht ist MLE eine Möglichkeit, die Wahrscheinlichkeitsfunktion abzuschätzen, ohne die Wahrscheinlichkeiten von vornherein zu berücksichtigen. Mit anderen Worten, wenn wir einen Würfel werfen, um eine 5 zu erhalten, schreibt MLE die höchste Punktzahl einer Verteilung zu (nennen wir es die Batman-Verteilung), die eine Wahrscheinlichkeit von 1 für die 3-Ausgabe und 0 für die anderen hat (was ein Zähler ist) -intuitiv)

Ein EM-Algorithmus berücksichtigt jedoch das Wissen von vornherein, dass die Wahrscheinlichkeit einer 5 auf einem fairen Würfel 1/6 beträgt. Daher wird dies bei der Erstellung des E-Schritts des EM-Algorithmus berücksichtigt. In der Realität gibt es verschiedene Möglichkeiten, dies zu erreichen, z. B. durch Bayes'sche Priors, Markov-Modelle usw.

Wenn jemand einen Fehler in meinem Verständnis findet, schlagen Sie bitte eine Bearbeitung vor.


Antwort 3:

MLE bietet die Zielfunktion, die für die angegebenen Daten optimiert werden muss.

Die Optimierung selbst kann auf verschiedene Arten erfolgen. EM (Expectation Maximization) ist eine der Möglichkeiten zur Optimierung. Alle anderen Arten von Optimierungen können ebenfalls verwendet werden.

Kurz MLE Definiert das Optimierungsziel, während EM es iterativ löst.