Informationstheorie

Gegenstand und Bedeutung

Die Informationstheorie ist eine mathematische Theorie aus der Wahrscheinlichkeitstheorie und Statistik. Sie geht auf den US-amerikanischen Mathematiker Claude Shannon zurück und untersucht Information und Entropie, die Informationsübertragung, Datenkompression und Kodierung sowie verwandte Fragen.

Ihr ursprünglicher Schwerpunkt liegt auf der technischen Kommunikation: Informationen sollen möglichst wirtschaftlich, schnell und störungsfrei übertragen werden. Die Theorie stellt mathematische Methoden bereit, um bestimmte Eigenschaften von Daten zu messen. Sie wird neben Mathematik, Informatik und Nachrichtentechnik auch zur Beschreibung von Kommunikationssystemen in anderen Bereichen verwendet, etwa bei Medien in der Publizistik, beim Nervensystem in der Neurologie, bei DNA- und Proteinsequenzen in der Molekularbiologie sowie bei Wissen in der Informationswissenschaft und Dokumentation.

Shannon selbst bezeichnete sein Werk als „mathematische Theorie der Kommunikation“. Gemeint ist vor allem die formale und technische Übertragung von Nachrichten, nicht deren Inhalt oder Bedeutung.

Entropie und Kanalkapazität

Ein Grundbegriff ist die Entropie. Sie charakterisiert den Informationsgehalt beziehungsweise die Informationsdichte von Nachrichten. Je ungleichförmiger eine Nachricht aufgebaut ist, desto höher ist ihre Entropie. Die Entropie beschreibt damit eine statistische Eigenschaft der Daten und nicht, ob eine Nachricht für einen Empfänger sinnvoll oder wichtig ist.

Ein weiterer grundlegender Zusammenhang ist das Shannon-Hartley-Gesetz nach Claude Shannon und Ralph Hartley. Es beschreibt die theoretische Obergrenze der Kanalkapazität. Die Kanalkapazität ist die maximale Datenübertragungsrate, die ein Übertragungskanal unter bestimmten Bedingungen ohne Übertragungsfehler erreichen kann. Sie hängt von der Bandbreite und vom Signal-zu-Rausch-Verhältnis ab. Das Signal-zu-Rausch-Verhältnis beschreibt dabei das Verhältnis zwischen dem eigentlichen Übertragungssignal und störendem Hintergrundrauschen.

Information wird in der Theorie als „physikalische Größe“ mit einer Maß- beziehungsweise Zähleinheit behandelt: dem Bit. Dadurch lässt sich der technische Aufwand für die Übertragung unterschiedlich dargestellter Informationen wie Töne, Zeichen und Bilder quantitativ vergleichen. Ebenso können die Effizienz von Codes sowie die Kapazität von Informationsspeichern und Übertragungskanälen bestimmt werden.

Übertragung, Kodierung und Fehlerkorrektur

Die Informationstheorie befasst sich mit der Frage, wie eine verlustfreie Datenübertragung über elektronische, heute auch optische, Kanäle ermöglicht werden kann. Ein wichtiges Problem besteht darin, Datensignale vom Hintergrundrauschen zu trennen. Außerdem sollen Übertragungsfehler erkannt und korrigiert werden.

Dazu werden zusätzliche redundante Daten mitgesendet. Redundanz bedeutet hier, dass diese Daten keine zusätzliche Information im eigentlichen Nachrichtensinn tragen. Sie ermöglichen dem Empfänger jedoch, die empfangenen Daten zu verifizieren oder Fehler zu korrigieren. Kodierung und Datenkompression stehen deshalb in engem Zusammenhang mit der Frage, wie Informationen effizient und zuverlässig übertragen werden können.

Im technischen Zusammenhang werden Nachrichten grundsätzlich als kontinuierlich oder diskret unterschieden. Schrift gilt als diskrete, Sprache und Bild gelten als kontinuierliche Darstellungsformen. Ende der 1930er Jahre gelang mit der Puls-Code-Modulation ein technischer Durchbruch: Eine als Kontinuum vorliegende Nachricht konnte in befriedigender Annäherung diskret dargestellt werden. Dadurch wurde es möglich, Sprache zu telegrafieren.

Die Definition des Bits spiegelte die technischen Möglichkeiten wider, unterschiedliche Darstellungsformen in eine gemeinsame, für technische Zwecke geeignete Repräsentation zu überführen. Diese Repräsentation kann als Folge elektrischer Impulse erscheinen, die durch einen Binärcode ausgedrückt wird. Damit war grundsätzlich eine wichtige Grundlage für digitale Informationstechnik und Multimedia gelegt. In der Praxis wurde der digitale Umbruch jedoch erst später möglich, zusammen mit der stürmischen Entwicklung der Mikroelektronik in der zweiten Hälfte des 20. Jahrhunderts.

Historischer Kontext und Grenzen

Claude Shannon leistete vor allem in den 1940er bis 1950er Jahren wesentliche Beiträge zur Theorie der Datenübertragung und zur Wahrscheinlichkeitstheorie. Der Bezugspunkt seiner Theorie war die forcierte Entwicklung der elektrischen Nachrichtentechnik mit Telegrafie, Telefonie, Funk und Fernsehen in der ersten Hälfte des 20. Jahrhunderts. Vor und neben Shannon trugen auch Harry Nyquist, Ralph Hartley und Karl Küpfmüller zur Theoriebildung der Nachrichtentechnik bei. Norbert Wiener lieferte mathematische Klärungen und machte die Theorie im Zusammenhang mit seinen Überlegungen zur Kybernetik bekannter.

Shannons Theorie schließt semantische und pragmatische Aspekte ausdrücklich aus. Sie macht also keine direkte Aussage über den Inhalt einer Nachricht, ihre Bedeutung oder ihr Wissen. Eine sinnvolle Botschaft wird nach denselben formalen Gesichtspunkten übertragen wie eine zufällige Folge von Buchstaben. Der informationstheoretische Informationsbegriff ist daher nicht unmittelbar mit Semantik, Bedeutung oder Wissen gleichzusetzen; diese Eigenschaften lassen sich mit den hier beschriebenen Verfahren nicht messen.

Es ist außerdem zweifelhaft und wurde auch von Shannon nicht beansprucht, dass seine 1948 veröffentlichte Studie A Mathematical Theory of Communication von substantieller Bedeutung für Fragestellungen außerhalb der Nachrichtentechnik ist. Der mit der Thermodynamik verbundene Entropiebegriff ist in seiner Theorie eine formale Analogie für einen mathematischen Ausdruck. Allgemein kann die Informationstheorie als Ingenieurtheorie auf hohem Abstraktionsniveau verstanden werden.

Neuere Ansätze bestimmen die Komplexität einer Nachricht nicht nur durch die statistische Betrachtung ihrer Daten, sondern auch durch die Algorithmen, die diese Daten erzeugen können. Dazu gehören die Kolmogorow-Komplexität, die algorithmische Tiefe und die algorithmische Informationstheorie von Gregory Chaitin. Klassische Informationskonzepte versagen teilweise bei quantenmechanischen Systemen. Daraus entstand das Konzept der Quanteninformation.