Das Video kommt von YouTube: erst beim Abspielen verbindet sich die Seite mit YouTube (Google).
Information und Entropie einer Quelle | Informationstheorie
Das Wichtigste aus dem Video
Tipp auf eine Zeit – das Video springt genau dorthin.
Transkriptautomatisch erstellt · 48 Zeilen
- ja hallo und herzlich willkommen wieder zu neuen video im heutigen video geht es um die information und die entropie einer quelle die beiden definitionen
- sind in dem bereich der informationstheorie einzuordnen wie jetzt hier kurz zu kurz zu beginn ihr seht ich habe jetzt hier schon die
- sachen berechnet steht daran dass die aufnahme anscheinend eben nicht funktioniert hat wir werden das kann jetzt aber nochmal durch sprechen da die
- rechnung sehr banal sind ich werde nicht noch mal alles abschreiben aber wir fangen jetzt einfach direkt an und zwar fange mit der
- information an die informationen in einem elementarereignisse großes gleich xi ist etwas so mathematisch formuliert einfach mal das folgendermaßen definiert
- dass die informationen die wtcc bezeichnet voll diesem elementarereignisse ist der rigorismus dual ist von 1 durch die
- wahrscheinlichkeit des entsprechenden ereignisses das kann man auch über logarithmische gesetze umschreiben indem man dieses 1 durch zu einem hoch - 1
- macht also p von ixiaro -1 und dann kaufen die prozent auch nach vorne zehn da vorne ziehen und hat man einfach - logarithmisch 2 von p e von xi
- die einheit ist bittmann was auch ganz wichtig ist die information ist immer größer gleich null weil wir haben eine wahrscheinlichkeit um die
- wahrscheinlichkeit ist immer zwischen 0 und 1 und dts hd logo rhythmus haben wir immer einen kleineren wert oder genau den wert 1 und damit haben wir halt
- entweder hier null raus oder was negatives und damit wird das ganze immer positiv ja jetzt hier ein kleines beispiel was haben wir also jetzt hier
- für elementar ereignis des emmentalischen es jetzt einmal gegeben dass wir die einzelnen ereignisse 1 2 und 3 erreichen können und diese
- ereignisse erreichen wir eben mit den folgenden wahrscheinlichkeiten mir eins mit der wahrscheinlichkeit ein halb zwei mit der wahrscheinlichkeit innviertel
- und drei auch mit der wahrscheinlichkeit ein drittel ja wie man schon an der definition hier oben sieht man kann die information immer nur für ein bestimmtes
- ereignis berechnen das heißt was wir jetzt hier nur bereichern können ist dreimal die informationen von jedem ereignisse also
- einmal das heißt einmal ii von x1 in die phonix dass ereignisse 12 12 die für nächstes 13 um das ganze macht man einfach indem man eine zier die
- wahrscheinlichkeiten einsetzt das heißt wir haben hier einmal - logo rhytmus 2 von eineinhalb wenn man das aus rechnet kommt ein bit raus weil man kann den
- rhythmus duales von 2 ist 1 dh wir können auch wieder diese einhalb zudem hoch - 1 und schreiben die -1 vorziehen und dann kehrt sich das minus wieder
- wichtig ist hier die einheit dass man die noch dazu schreibt das ganze kann man verhältnis 2 und 3 machen da die hier die gleiche wahrscheinlichkeit
- haben haben sie auch die gleiche information das heißt wir haben einfach - madrid muss zwei von einem viertel ist gleich
- zwei bitte und das gleiche bei von 3 ja jetzt kommen jetzt entropie einer quelle im prinzip ist das ja eine weitere definition für die man die information
- aber bereits benötigt das heißt entweder man muss sie sich vorher einzeln ausrechnen oder man rechnet halt direkt die entropie aus aber das gibt die
- entropie einer quelle erst mal an allgemein ist kann man es so zu sich das so vorstellen das ist einfach die mittlere informationen pro symbolisch
- das heißt wenn wir jetzt hier noch mehrere symbole hätten dann ist ja können wir uns fragen wie viele informationen haben wir eigentlich pro
- symbol jetzt 20 symbole haben die sind alle haben jetzt alle eine andere information wie ist dann unsere nicht der mittelwert
- dieser informationen die wir dann pro symbol pro ereignis ist jetzt hier gleich bedeutend haben und definiert wir das ganze einfach über h von iks und
- weil wir hier in ermittlungen haben summieren wir im prinzip alle informationen auf mit der gewichtung der wahrscheinlichkeit
- das heißt wir haben die summe von der wahrscheinlichkeit der das symbol das ereignis auftritt mal die information die dieses ereignis gesetzt dann kann
- man jetzt die informationen hier von hier oben nochmal einsetzen kriegt noch hier diese weitere summe raus also mit dem - und dann hat
- man hier nur noch die wahrscheinlichkeit des ereignisses in der summe drin stehen ganz wichtig ist hier dass ich die einheit zu bild zu bild pro symbol wird
- weil wir hier ermittelt haben das heißt das ganze ist im mittel pro symbol die anzahl an bezahlt auch hier bleibt das ganze trotzdem größer gleich null da die
- informationen ja größer null war und wer hier dann wieder das gleiche wie oben haben p von xi ist wieder zwischen 0 1 1 damit dass das hier wieder negativ die
- wahrscheinlichkeit ist immer größer null und damit wird das ganze positiv ja die entropie wird einer quelle wird genau dann maximal falls alle symbole gleich
- wahrscheinlich sind dh für p von xi gilt dann gleich 1 durch nnn die anzahl der symbole ist jetzt in unserem beispiel wäre n3 jetzt nicht die zahl drei
- sondern drei symbole und definiert ist das ganze indem man einfach dann jetzt hier einsetzen sagt hugues von iks oft auch als 1 0 bezeichnet ist dann im
- prinzip wenn jetzt erstmal den hinteren term hang gucken hätten wir für jedes symbol weil ihr alle gleich wahrscheinlich sind das heißt s p von xs
- für alle gleich en hier drin stehen ist das wäre mir einzig in dem logo rhytmus davor 1 durch m da wir das ganze dann einmal summieren
- und alle and therme gleich sind können wir das ganze mit einem multiplizieren das heißt hier dieses kürzlich hier direkt was wir dann halt noch hamm ist
- wieder diese logik muss den können wir wieder das einzig in zu einem 1 0 - 1 - 1 wieder vorziehen umschreiben und das ergebnis ist dann logarithmisch 2 von
- ende jetzt hier im beispiel wieder das gleiche beispiel wie hier oben da werden jetzt einfach die darstellung weil wir schon die informationen jetzt
- eben berechnet haben und da ist denn die entropie einer quelle von nix ist dann ein halb dass die wahrscheinlichkeit mal die information plus ein viertel mal die
- information und dann habe ich jetzt hier nochmal zwei geschrieben weil wir halt zwei und drei die genau die gleiche information haben ist es in dem fall
- kann man das ganze leben vereinfachen dem man mal zweiter vor ja da sehen wir die konten halt raus hier kommt eins raus gibt zusammen drei
- halbe und da es halt wichtig dass wir jetzt bit pro symbol sind wenn wir jetzt noch die maximale entropie mal auf unser beispiel
- ausrechnen wollen dann ist bei uns drei und deswegen geben wir einfach eine logarithmisch duo alles von 3s 1585 ich hab das eben gerundet was hier noch mal
- ein gibt dass der genaue wert falls euch interessiert und das ganze ist auch bitter symbol dann natürlich ich hoffe die beiden themen sind klar
- ist im prinzip der definitionssache man möchte die halt oft berechnen im bereich der informationstheorie und falls es trotzdem fragen gibt schreibt
- gerne einen kommentar und dann bedanke ich mich fürs zu sehen und bis zum nächsten video
Zum Nachlesen
Entropie (Informationstheorie)Datenkompression und Entropie. Bearbeiten. Die Entropiekodierung ist ein Kompressionsalgorithmus, um Daten verlustfrei zu komprimieren. In diesem Zusammenhang …
InformationsgehaltDer Informationsgehalt (oder auch Überraschungswert) einer Nachricht ist eine logarithmische Größe, die angibt, wie viel Information in dieser Nachricht …
Shannon (Einheit)Shannon (abgekürzt Sh) ist die nach dem amerikanischen Mathematiker und Begründer der Informationstheorie Claude Elwood Shannon benannte Einheit für den …
InformationstheorieEs beschreibt die theoretische Obergrenze der Kanalkapazität, also die maximale Datenübertragungsrate, die ein Übertragungskanal in Abhängigkeit von Bandbreite …