Bayes-Schätzer

Grundidee und Definition

Ein Bayes-Schätzer ist eine Schätzfunktion der mathematischen Statistik, die sowohl beobachtete Daten als auch vorhandenes Vorwissen über einen unbekannten Parameter berücksichtigt. Das Vorwissen wird durch die A-priori-Verteilung beschrieben. Aus ihr und den Daten entsteht mithilfe des Satzes von Bayes die A-posteriori-Verteilung. Sie gibt an, wie der Parameter nach Berücksichtigung der Beobachtung verteilt ist.

Seien θ ∈ Θ der zu schätzende Parameter, x ∈ 𝒳 die Beobachtung, f(x|θ) die Likelihood, also die Verteilung der Beobachtung in Abhängigkeit von θ, und g(θ) die A-priori-Verteilung. Dann lautet die A-posteriori-Verteilung:

h(θ|x) = f(x|θ)g(θ) / ∫_Θ f(x|θ′)g(θ′) dθ′.

Um aus dieser Verteilung einen einzelnen Schätzwert zu gewinnen, wird eine Verlustfunktion ℓ: Θ × Θ → ℝ festgelegt. Der Wert ℓ(a,θ) beschreibt den Verlust, der entsteht, wenn θ durch a geschätzt wird. Ein Wert a ∈ Θ heißt Bayes-Schätzer, wenn er den erwarteten Verlust unter der A-posteriori-Verteilung minimiert:

E(ℓ(a,·)|x) = ∫_Θ ℓ(a,θ)h(θ|x) dθ.

Bei diskreten Parametern werden die Integrale als Summen über θ ∈ Θ verstanden. Welches Lagemaß der A-posteriori-Verteilung den Bayes-Schätzer bildet, hängt von der gewählten Verlustfunktion ab.

Erwartungswert bei quadratischem Verlust

Für die häufig verwendete quadratische Verlustfunktion

ℓ(a,θ) = (a−θ)²

ist der Bayes-Schätzer der A-posteriori-Erwartungswert:

E(θ|x) = ∫_Θ θh(θ|x) dθ = [∫_Θ θf(x|θ)g(θ) dθ] / [∫_Θ f(x|θ)g(θ) dθ].

Dieser Schätzer minimiert also den erwarteten quadrierten Fehler. Das lässt sich durch Ableiten des erwarteten Verlusts nach a zeigen:

d/da [∫_Θ (a−θ)²h(θ|x) dθ] = 2a∫_Θ h(θ|x) dθ − 2∫_Θ θh(θ|x) dθ.

Da ∫_Θ h(θ|x) dθ = 1 gilt, liefert das Nullsetzen der Ableitung a = E(θ|x). Der A-posteriori-Erwartungswert ist der wichtigste und praktisch am häufigsten eingesetzte Bayes-Schätzer; manche Autoren bezeichnen speziell ihn als „den“ Bayes-Schätzer.

Median, Modus und Maximum Likelihood

Bei der absoluten Verlustfunktion

ℓ(a,θ) = |a−θ|

ist der A-posteriori-Median ein Bayes-Schätzer. Für eine stetige A-posteriori-Verteilung ist er eine Lösung a der Gleichung

∫_{−∞}^a h(θ|x) dθ = 1/2.

Damit liegt jeweils die Hälfte der A-posteriori-Wahrscheinlichkeit links und rechts des Schätzwerts.

Für einen diskreten Parameter eignet sich die Null-Eins-Verlustfunktion. Sie ist 0, falls a = θ gilt, und sonst 1. Ihr erwarteter Verlust beträgt 1−h(a|x). Er wird dort minimal, wo h(a|x) maximal ist. Deshalb sind die Modalwerte, also die wahrscheinlichsten Werte der A-posteriori-Verteilung, Bayes-Schätzer.

Bei einem stetigen Parameter hat das Ereignis θ = a für jedes a die Wahrscheinlichkeit null. Man verwendet daher für ein kleines ε > 0 einen Verlust von 0 bei |a−θ| ≤ ε und von 1 bei |a−θ| > ε. Im Grenzfall ε → 0 ergibt sich ebenfalls der A-posteriori-Modus.

Ist die A-priori-Verteilung eine Gleichverteilung, ergibt sich der Maximum-Likelihood-Schätzer als A-posteriori-Modus. Der Maximum-Likelihood-Schätzer, der den Parameterwert mit der größten Likelihood auswählt, ist damit ein Spezialfall eines Bayes-Schätzers.

Urnenbeispiel

Eine Urne enthält rote und schwarze Kugeln in unbekannter Zusammensetzung. Gesucht ist die unbekannte Wahrscheinlichkeit θ = p, eine rote Kugel zu ziehen. Es werden n = 6 Kugeln nacheinander mit Zurücklegen gezogen; nur eine davon ist rot, also wird x = 1 beobachtet.

Die Zahl der roten Kugeln ist binomialverteilt. Die Likelihood lautet:

f(x|θ) = (n über x)p^x(1−p)^{n−x} = 6p(1−p)^5.

Da keine vorherige Information über p vorliegt, wird auf Θ = (0,1) die Gleichverteilung g(θ) = 1 als A-priori-Verteilung gewählt. Daraus folgt:

h(θ|x) = [6p(1−p)^5] / [∫_0^1 6p(1−p)^5 dp] = 42p(1−p)^5.

Dies ist die Dichte einer Beta-Verteilung mit α = 2 und β = 6. Der A-posteriori-Erwartungswert beträgt

α/(α+β) = 1/4,

der A-posteriori-Modus

(α−1)/(α+β−2) = 1/6.

Der A-posteriori-Median muss numerisch bestimmt werden und beträgt ungefähr 0,2285.

Allgemein ergeben sich bei k roten Kugeln in n Ziehungen der A-posteriori-Erwartungswert (k+1)/(n+2) und der A-posteriori-Modus k/n. Letzterer ist zugleich der klassische Maximum-Likelihood-Schätzer. Für nicht zu kleine n ist (k+2/3)/(n+4/3) eine gute Näherung für den A-posteriori-Median.

Praktische Berechnung

Die numerische Berechnung kann die Anwendung von Bayes-Schätzern erschweren. Ein klassischer Ansatz verwendet konjugierte A-priori-Verteilungen. Bei ihnen gehört die A-posteriori-Verteilung zu einer bekannten Verteilungsklasse, sodass ihre Lagemaße einfacher bestimmt oder in Tabellen nachgeschlagen werden können. Im Urnenexperiment bleibt beispielsweise eine beliebige Betaverteilung als A-priori-Verteilung nach der Aktualisierung ebenfalls eine Betaverteilung.

Für allgemeine A-priori-Verteilungen erfordert der A-posteriori-Erwartungswert die Berechnung zweier Integrale über den Parameterraum. Eine klassische Näherungsmethode ist die Laplace-Approximation: Die Integranden werden als Exponentialfunktionen geschrieben und ihre Exponenten anschließend durch eine quadratische Taylor-Approximation angenähert.

Leistungsfähige Computer ermöglichen außerdem Verfahren der numerischen Integration. Besonders schwierig sind hochdimensionale Parametermengen, bei denen sehr viele Parameter aus den Daten geschätzt werden. In solchen Fällen kommen häufig Monte-Carlo-Verfahren zum Einsatz, die die benötigten Größen näherungsweise mithilfe vieler Zufallswerte berechnen.