Informationsgehalt

Grundidee und Definition

Der Informationsgehalt, auch Überraschungswert, beschreibt als logarithmische Größe, wie viel Information eine Nachricht überträgt. Claude Shannon formalisierte ihn in der Informationstheorie als statistische Signifikanz eines Zeichens. Er gibt die minimale Zahl von Bits an, die nötig ist, um ein Zeichen darzustellen oder zu übertragen. Diese Zahl muss nicht der tatsächlich empfangenen Datenmenge entsprechen, weil der Informationsgehalt vom semantischen Kontext abhängig ist.

Für ein Zeichen x mit Auftrittswahrscheinlichkeit pₓ gilt:

I(x) = logₐ(1/pₓ) = −logₐ(pₓ).

Die Basis a ist die Mächtigkeit des Alphabets, also die Anzahl möglicher Zustände einer Nachrichtenquelle. Sie bestimmt die Einheit. Allgemein kann sie Shannon (sh) heißen; bei dem meist verwendeten Binäralphabet mit a = 2 lautet die Einheit Bit. Je kleiner pₓ ist, desto größer ist der Informationsgehalt: Seltene Zeichen sind überraschender und enthalten mehr Information, häufige Zeichen weniger.

Information, Codierung und Entropie

Der Informationsbegriff nach Shannon ist nicht mit Bedeutung gleichzusetzen. Zwei Nachrichten können daher gleich viel Information enthalten, obwohl eine besonders bedeutsam und die andere „Unsinn“ ist. Bei einer Auswahl zwischen zwei möglichen Nachrichten wird die damit verbundene Information willkürlich auf 1 festgelegt. Die Nachrichten selbst können völlig verschieden sein, etwa der Text eines Telefonbuches und der Buchstabe „A“, wenn sie mit 0 und 1 codiert werden.

Eine Nachrichtenquelle wählt nacheinander Zeichen aus einem endlichen Zeichenvorrat aus; die Zeichenfolge bildet die Nachricht. Die Wahrscheinlichkeiten der Zeichen sind entscheidend. Oft sind sie voneinander abhängig, also durch vorherige Auswahlereignisse beeinflusst. Folgt in einer Wortfolge etwa „die“, ist die Wahrscheinlichkeit eines weiteren Artikels oder eines Verbs als nächstes Wort sehr gering.

Ein Informationsmaß, das natürliche Anforderungen erfüllt, entspricht der aus der statistischen Physik bekannten Entropie. Häufige Zeichen können mit weniger Bits codiert werden als seltene. Das nutzen Datenkompressionsverfahren, insbesondere Entropiekodierungen wie arithmetische Kodierung und Huffman-Kodierung; ein ähnliches Verfahren dient zum Ausbalancieren von Binärbäumen. Der Informationsgehalt ist damit ein Maß für die maximale Effizienz der Übertragung.

Andere Ansätze sind die Kolmogorov-Komplexität beziehungsweise der algorithmische Informationsgehalt als Länge des kürzesten Programms, das eine Zeichenkette erzeugt, sowie die Algorithmische Tiefe als Maß für den Aufwand ihrer Erzeugung. Kreuzentropie und Kullback-Leibler-Divergenz messen Verschwendungen von Bits durch schlechte Kodierung.

Unabhängige Ereignisse

Für n statistisch unabhängig aufeinanderfolgende Ereignisse x₁, x₂, …, xₙ addieren sich die Informationsgehalte:

I₍ges₎ = I(x₁) + I(x₂) + … + I(xₙ) = ∑ₖ₌₁ⁿ I(xₖ).

Mit der Entropie H(X), dem mittleren Informationsgehalt eines Zeichens, gilt auch I₍ges₎ = n · H(X). Sind alle Zeichen xᵢ eines Alphabets Z gleich wahrscheinlich, p(xᵢ) = 1/|Z|, dann gilt:

I₍ges₎ = n · H₍max₎(X) = n · log₂(|Z|), beziehungsweise n · I(p).

Bei dieser Betrachtung wird jedes Zeichen einzeln bewertet. Daher haben die Quellen „01010101…“ und „10010110…“ nach dieser Formel denselben Informationsgehalt, obwohl die erste Quelle eine erkennbare Wiederholungsstruktur besitzt. Um solche Zusammenhänge zwischen Zeichen zu berücksichtigen, verwendet man die bedingte Entropie und behandelt die Ereignisse als statistisch abhängig.

Abhängige Ereignisse und Verbundentropie

Bei statistisch abhängigen Ereignissen liefert der bekannte Kontext zusätzliche Hinweise. Folgende Ereignisse lassen sich oft durch Ausschlussverfahren und Bindungen erraten. In deutschem Text tritt beispielsweise „c“ meistens paarweise mit „h“ oder „k“ auf. Der gesamte, kontextsensitive Informationsgehalt lautet:

I₍ges₎ = n · H(X|Y).

Die bedingte Entropie H(X|Y) ist der mittlere Informationsgehalt von X unter der Bedingung Y:

H(X|Y) = ∑ᵧ p(y) · H(X|Y = y) = −∑ₓ∑ᵧ p(x,y) · log₂ p(x|y).

Außerdem gilt H(X|Y) = H(X) − I(X;Y). Dabei ist I(X;Y) die Transinformation, also die Information, die von X nach Y fließt und Schlüsse von X auf Y ermöglicht. Hohe Transinformation bedeutet eine hohe Abhängigkeit. Ebenso gilt H(X|Y) = H(X,Y) − H(Y) = H(X,Y) − (I(X;Y) + H(Y|X)). Für abhängige Ereignisse ist die Information stets kleiner oder gleich derjenigen bei unabhängigen Ereignissen: H(X|Y) ≤ H(X).

Bei n möglichen Ereignissen x und m möglichen Ereignissen y ist p(xᵢ,yⱼ) die Verbundwahrscheinlichkeit eines gemeinsamen Auftretens. Es gilt p(xᵢ) = ∑ⱼ₌₁ᵐ p(xᵢ,yⱼ) sowie p(xᵢ,yⱼ) = p(xᵢ) · p(yⱼ|xᵢ) = p(yⱼ) · p(xᵢ|yⱼ). Die Verbundentropie je Ereignispaar ist:

H(X,Y) = −∑ᵢ₌₁ⁿ∑ⱼ₌₁ᵐ p(xᵢ,yⱼ) · log₂(p(xᵢ,yⱼ)).

Analoge Signale und Beispiele

Bei einem analogen Signal ist der Informationsgehalt eines einzelnen Werts grundsätzlich unendlich, weil die Auftrittswahrscheinlichkeit eines exakten Werts in einer kontinuierlichen Wahrscheinlichkeitsverteilung Null ist. Für den mittleren Informationsgehalt eines reellen kontinuierlichen Signals kann die differentielle Entropie verwendet werden. Eine Analog-Digital-Umsetzung macht das Signal diskret, verliert dabei aber Information; anschließend lässt sich der Informationsgehalt der diskreten Werte wieder bestimmen.

Beispiel: Tritt ein Zeichen mit p(x) = 0,0625 auf, sind für seine maximal effiziente Übertragung I(x) = I(0,0625) = 4 bit nötig.

Für „Mississippi“ mit n = 11 und Z = {i, M, p, s} gelten p(i) = 4/11, p(M) = 1/11, p(p) = 2/11 und p(s) = 4/11. Mit I(i) = 1,46 bit, I(M) = 3,46 bit, I(p) = 2,46 bit und I(s) = 1,46 bit ergibt sich I₍ges₎ = 20,06 bit. Daraus folgen 21 Bit, die nötig sind, um die einzelnen Buchstaben binär optimal zu kodieren.

Für Z = {a, b} mit p(a) = 0,01, p(b) = 0,99 und einer Kette aus 100 Zeichen gilt I(a) = 6,6439 bit und I(b) = 0,0145 bit. Bei einem a und 99 b ist I₍ges₎ = 1 · I(a) + 99 · I(b) ≈ 8,08 bit; daraus folgt eine Gesamtinformation von 9 bit.