Wikipedia · einfach zusammengefasst · Stand
Shannon (Einheit)
Shannon (abgekürzt Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den …
Inhalt4 Abschnitte
Gegenstand und Bedeutung
Shannon (Sh) ist die Einheit für den Informationsgehalt einer Nachricht. Sie ist nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannt. In der Praxis wird häufiger die Einheit Bit verwendet; Shannon und Bit sind dabei identisch. Das großgeschriebene Bit bezeichnet die Einheit, während „bit“ ein binäres Symbol meint.
Definition und Berechnung
Eine Nachricht wird durch eine Zeichenmenge Z = {z₁, z₂, …, zₛ} und die Wahrscheinlichkeiten pᵢ beschrieben, mit denen die einzelnen Zeichen auftreten. Ihr Informationsgehalt H wird in Shannon durch die Formel H = −∑ᵢ pᵢ · log₂ pᵢ Sh bestimmt.
Die Einheit Sh steht damit für das Maß an Information einer Nachricht. In der Informationstheorie entspricht sie der Entropie der jeweiligen Nachrichtenquelle. In der Biometrie bezeichnet der Shannon-Index außerdem ein Maß für eine Population unterschiedlicher Spezies.
Beispiele für den Informationsgehalt
Bei einer einmaligen Nachricht mit dem Zeichenvorrat Z = {0, 1}, bei der beide Zeichen mit der Wahrscheinlichkeit 0,5 auftreten, ergibt sich:
−½ · log₂(½) − ½ · log₂(½) = −log₂(½) = log₂(2) = 1 Sh.
Besteht der Zeichenvorrat aus zehn gleich wahrscheinlichen Zeichen, etwa {0, 1, 2, 3, 4, 5, 6, 7, 8, 9}, beträgt der Informationsgehalt −log₂(1/10) = log₂(10) ≈ 3,322 Sh. Für die Übertragung reicht daher eine 4-bit-Kodierung aus, es bleibt jedoch Redundanz. Beim BCD-Code zeigt sich diese darin, dass von 16 darstellbaren Zeichen nur 10 tatsächlich verwendet werden.
Normen und weitere Einheiten
Begriffsfestlegungen zu Einheiten des Entscheidungsgehalts in der Informationstheorie finden sich in den internationalen Normen IEC 60027-3 und ISO 2382-16. Neben dem Shannon, der auf dem Logarithmus zur Basis 2 beruht, nennen die Normen den Hartley (Einheitenzeichen: Hart) auf Grundlage des Zehnerlogarithmus sowie die natürliche Informationseinheit (Einheitenzeichen: nat) auf Grundlage des natürlichen Logarithmus.
Ein Versuch der ISO aus dem Jahr 1975, die Einheit Bit durch die Shannon-Einheit zu ersetzen, war laut dem Artikel rückblickend nicht sehr erfolgreich.
