Montag und Dienstag
14:00 – 16:00 Uhr
Präsenz
Prof. Dr. Welf Kreiner | Physiker i. R.
ehem. Fakultät für Naturwissenschaften Universität Ulm
In den Naturwissenschaften steht der Begriff „Entropie” für Vielfalt, aber laut Boltzmann auch für eine Wahrscheinlichkeit.
Bei der Übermittlung aller Information mit Hilfe binärer Zeichen stellte sich die Frage, wie man dabei mit möglichst wenig Einsen und Nullen auskommt. In einem Sprachtext sind nicht alle Buchstaben gleich häufig. So macht das E im Deutschen 17% aus. Wählt man für die seltenen Buchstaben eine längere digitale Zahl und für häufige eine kurze, so ist das ökonomisch. Ähnliches gilt für die Elemente einer Bildübertragung.
Nach Shannon ist mit der Häufigkeit eines Buchstabens auch eine ganz bestimmte Information für den Empfänger verbunden. Nach seiner Formel kann aus der Wahrscheinlichkeit von Zeichen eine Größe H, die Shannon-Entropie, berechnet werden, die die kleinste mögliche Anzahl digitaler Zeichen verrät.