Montag und Dienstag
14:00 – 16:00 Uhr
Präsenz
Prof. Dr. Welf Kreiner | Physiker i. R.
ehem. Universität Ulm
In den Naturwissenschaften bedeutet Entropie Vielfalt, aber auch eine Wahrscheinlichkeit. Mit der Erfindung des Computers und der Übermittlung aller Information mit Hilfe binärer Zahlen stellte sich die Frage, wie man dabei mit möglichst wenig Einsen und Nullen auskommt.
In einem Sprachtext sind nicht alle Buchstaben gleich häufig. So macht das E im Deutschen 17% aus. Wählt man für die seltenen Buchstaben eine längere digitale Zahl und für häufige eine kurze, so ist das ökonomisch. Ähnliches gilt für Wörter oder die Elemente einer Bildübertragung.
Nach Shannon ist mit der Häufigkeit eines Buchstabens auch eine ganz bestimmte Information für den Empfänger verbunden. Nach seiner Formel kann aus der Wahrscheinlichkeit von Zeichen eine Größe H, die Shannon-Entropie, berechnet werden, die die kleinste mögliche Anzahl digitaler Zeichen verrät.