Der Mathematiker und Elektrotechniker Claude Edward Shannon (*1916; †2001) und der Mathematiker Warren Weaver (*1894; †1978) begründeten zusammen die sogenannte Informationstheorie. In Shannons Buch "The Mathematical Theorie of Communication" veröffentlichten sie 1948 ihr Kommunikationsmodell.
Die Informationstheorie beschäftigt sich mit Begriffen wie Datenkomprimierung, Informatik, Informationsübertragung, Kodierung, Entropie, dieser Begriff wird verwendet um die Informationsdichte von Nachrichten zu charakterisieren. Je gleichförmiger eine Nachricht ist, desto höher ist ihre Entropie (Heise 1989, S.100ff) usw. Sie ist eine mathematische Theorie aus dem Bereich der Statistik und Wahrscheinlichkeitstheorie. Ziel dieser Theorie war es Informationssignale und Hintergrundrauschen zu trennen, das heißt maximale Übertragungsrate ohne Übertragungsfehler beziehungsweise während der Übertragung auftretende Fehler zu erkennen und zu kodieren. Somit dient sie nicht nur der Informatik und Nachrichtentechnik, sondern auch der Beschreibung anderer Kommunikationssysteme wie zum Beispiel der zwischenmenschlichen Kommunikation. (vgl. Rothe 2006 S.80ff Zitat Weaver)
Um militärische Gespräche während des zweiten Weltkrieges möglichst störungsfrei verlaufen zu lassen, mussten sie sich zunächst mit dem Problem der Kanäle und Kapazitäten auseinandersetzen. Das Informationssystem wurde daher in mehrere Sub-Systeme unterteilt um verschiedene Kommunikationscodes und Kanäle vergleichen zu können.
Jegliche Art von Kommunikation besteht laut ihrer Theorie aus sechs Sub-Systemen: der Quelle, dem Transmitter/ Sender, der Nachricht, dem Kanal, dem Decoder und dem Empfänger.
/ AUS DEM INHALT: / / /
Vorwort 9
Ein aktueller Beitrag zur mathematischen Theorie der Kommunikation von Warren Weaver
1. Einführung in die analytische Behandlung der Kommunikation 11
1.1 Kommunikation 11
1.2 Kommunikationsprobleme in drei Ebenen 12
1. 3 Kommentar 14
2. Kommunikationsprobleme der Ebene A 16
2.1 Ein Kommunikationssystem und seine Probleme 16
2.2 Information 18
2.3 Die Kapazität eines Übertragungskanals 26
2.4 Codierung 26
2. 5 Störungen 28
2.6 Kontinuierliche Nachrichten 32
3. Die Wechselbeziehung zwischen den drei Ebenen der Kommunikationsprobleme 35
3.1 Einleitung 35
3.2 Grundzüge der Theorie auf der Ebene A 35
Die mathematische Theorie der Kommunikation von Claude E. Shannon
Einführung 41
I. Diskrete ungestörte Systeme 46
1. Der diskrete ungestörte Kanal 46
2. Die diskrete Nachrichtenquelle 49
3. Die Serien der Näherungen zur englischen Sprache 53
4. Graphische Darstellung eines Markoff-Prozesses 55
5. Ergodische und gemischte Quellen 57
6. Auswahl, Unsicherheit und Entropie v 59
7. Die Entropie einer Nachrichtenquelle 64
8. Beschreibung der Codierung und der Decodierung 68
9. Der fundamentale Lehrsatz für einen störungsfreien Kanal 70
10. Diskussion und Beispiele 73
II. Der diskrete gestörte Kanal 77
11. Vorstellung eines diskreten gestörten Kanals 77
12. Äquivokation und Kanalkapazität 78
13. Der fundamentale Lehrsatz für einen diskreten Kanal mit Störung 82
14. Diskussion 87
15. Beispiel eines diskreten Kanals und seiner Kapazität 88
16. Die Kanalkapazität in gewissen Spezialfällen 90
17. Ein Beispiel effizienter Codierung 92
III. Kontinuierliche Information 94
18. Mengen und Ensembles von Funktionen 94
19. Ensembles von Funktionen begrenzter Bandbreite 99
20. Entropie einer kontinuierlichen Verteilung 100
21. Entropie eines Ensembles von Funktionen 104
22. Entropie Verluste in linearen Filtern 106
23. Die Entropie der Summe zweier Ensembles 108
IV. Der kontinuierliche Kanal 111
24. Die Kapazität eines kontinuierlichen Kanals 111
25. Die Kanalkapazität bei einer Begrenzung der Durchschnittsleistung 114
26. Die Kanalkapazität bei einer Begrenzung der Spitzenleistung 118
V. Die Rate einer kontinuierlichen Quelle 122
27. Bestimmungsfunktionen für die Übertragungstreue 122
28. Die Senderate einer Quelle in Abhängigkeit von der Bestimmung der Übertragungstreue 126
29. Die Berechnung der Raten 128
Anhang 1 Das Wachstum einer Zahl von Zeichen-Blöcken mit einer endlichen Zustandsbedingung 131
Anhang 2 Herleitung von H = - Summe pi log p¡ 132
Anhang 3 Lehrsätze über ergodische Quellen 134
Anhang 4 Maximierung der Rate für ein System mit Beschränkungen 136
Anhang 5 138
Anhang 6 139