Informationstheorie

1

Einleitung

Informationstheorie, die Theorie, die sich mit den mathematischen Gesetzen der Übertragung und Verarbeitung von Information befasst. Genauer gesagt beschäftigt sich die Informationstheorie mit dem Messen von Information, der Darstellung von Information (z. B. Codierung) und der Leistungsfähigkeit von Kommunikationssystemen bei der Informationsübertragung und -verarbeitung.

Die so genannte Codierung kann sich auf die Übertragung von Sprache oder Bildern in elektrische oder elektromagnetische Signale beziehen oder auf das Verschlüsseln von Nachrichten aus Gründen der Geheimhaltung.

Als Erster befasste sich 1948 der amerikanische Elektroingenieur Claude E. Shannon in seinem Artikel A Mathematical Theory of Communication mit der Informationstheorie. Die immer komplexer und dichter werdenden Kommunikationskanäle, wie Telefonnetze, Fernschreibnetze und Funksysteme, machten eine theoretische Grundlage der Kommunikationstechnik notwendig. Die Informationstheorie umfasst auch alle anderen Arten der Informationsübertragung und -speicherung, darunter das Fernsehen sowie die elektrischen Impulse, die in Computern oder bei der magnetischen oder optischen Datenaufzeichnung übertragen werden. Der Ausdruck Information bezieht sich dabei auf die übertragenen Nachrichten: Sprache und Musik mit Telefon und Radio, Bilder mit Fernsehsystemen, digitale Daten in Computersystemen und -netzen und sogar Nervenimpulse in lebenden Organismen. Allgemeiner ausgedrückt findet die Informationstheorie in so vielfältigen Forschungsgebieten Anwendung wie Kybernetik, Kryptographie, Linguistik, Psychologie und Statistik.

2

Bestandteile eines Kommunikationssystems

Eine Informationsquelle (z. B. eine sprechende Person) gibt eine Information oder Nachricht von sich, die übertragen werden soll. Ein Sender, z. B. Telefon, Verstärker, Mikrophon oder Radiosender, wandelt die Nachricht in elektrische oder elektromagnetische Signale um. Dieses Signal wird in einem Kanal oder Medium übertragen (z. B. ein Draht oder die Atmosphäre). Besonders der Kanal ist gegen Störungen anfällig, die von vielen Quellen ausgehen und die Signale verzerren oder abschwächen können. (Beispiele für Störungen, die man als Rauschen bezeichnet, sind die Aufladung bei Radio- und Telefonempfang sowie der „Schnee” beim Empfang eines Fernsehbildes). Der Empfänger, z. B. ein Radiogerät, setzt die Signale wieder zur ursprünglichen Nachricht zusammen. Am Ende eines Kommunikationssystems steht das Ziel, z. B. eine Person, die die Nachricht hört.

Zwei wichtige Aufgaben der Informationstheorie sind die Verminderung der durch Rauschen verursachten Störungen in Kommunikationssystemen und die effektivste Verwendung der gesamten Kanalkapazität.

3

Informationsgehalt

Ein grundlegender Gedanke der Informationstheorie ist, dass die Informationsmenge in einer Nachricht, der Informationsgehalt, eine genau definierte, messbare mathematische Größe darstellt. Der Informationsgehalt eines Ereignisses ist mathematisch betrachtet eng mit der Wahrscheinlichkeit für sein Eintreten verbunden. Häufige Ereignisse haben demnach geringen, seltene dagegen hohen Informationsgehalt. Der höchste Wert des Informationsgehalts wird der Nachricht mit der geringsten Wahrscheinlichkeit zugewiesen. Wird eine Nachricht mit Sicherheit erwartet, so ist ihr Informationsgehalt Null. Wirft man z. B. eine Münze, dann hat die zusammengesetzte Nachricht „Kopf oder Zahl”, die das Ergebnis beschreibt, keinen Informationsgehalt. Die beiden Einzelnachrichten „Kopf” oder „Zahl” sind dagegen gleich wahrscheinlich und besitzen die Wahrscheinlichkeit 50 Prozent. Um den Informationsgehalt (I) zur Wahrscheinlichkeit in Beziehung zu setzen, führte Shannon eine einfache Formel ein:

I = log21/p,

wobei p die Wahrscheinlichkeit der übertragenen Nachricht ist und log₂ der Logarithmus von 1/p zur Basis 2. (Log₂ einer gegebenen Zahl ist der Exponent, der der Zahl 2 zugewiesen werden muss, um die gegebene Zahl zu erhalten; z. B. log₂ von 8 = 3, weil 2³ = 8.) Mit Hilfe dieser Formel ergibt sich, dass die Nachrichten „Kopf” oder „Zahl” einen Informationsgehalt von log₂2 = 1 besitzen.

Den Informationsgehalt einer Nachricht kann man als die Anzahl der möglichen Symbole verstehen, die eine Nachricht repräsentieren. Wenn im obigen Beispiel „Zahl” durch eine 0 und „Kopf” durch eine 1 dargestellt wird, gibt es nur eine Auswahl bei der Darstellung der Nachricht: 0 oder 1. Die 0 und die 1 sind die Ziffern des Binärsystems (siehe Zahlensysteme), und die Auswahl zwischen diesen beiden Symbolen entspricht der so genannten binären Informationseinheit oder Bit (englisch binary information unit). Wird eine Münze dreimal hintereinander geworfen, können die acht möglichen Ergebnisse (oder Nachrichten) durch 000, 001, 010, 011, 100, 101, 110 oder 111 dargestellt werden. Diesen Nachrichten entsprechen die Zahlen 0, ..., 7 in Binärschreibweise. Die Wahrscheinlichkeit jeder Nachricht ist ein Achtel, und ihr Informationsgehalt ist log₂1 ˆ = 3, also gleich der Anzahl von Bits, die zur Darstellung jeder Nachricht benötigt werden.

4

Entropie

Bei den meisten praktischen Anwendungen muss man unter Nachrichten auswählen, die verschiedene Sendewahrscheinlichkeiten besitzen. Man hat den Ausdruck Entropie aus der Thermodynamik entlehnt, um den durchschnittlichen Informationsgehalt einer Nachricht festzulegen. Die Entropie kann man sich als die Größe der „Unordnung” in einem System vorstellen. In der Informationstheorie ist die Entropie einer Nachricht gleich ihrem durchschnittlichen Informationsgehalt. Wenn in einer Menge von Nachrichten die Wahrscheinlichkeiten gleich sind, lautet die Formel für die Gesamtentropie H = log₂N wobei N die Anzahl der möglichen Nachrichten in der Menge ist.