Information und Entropie einer Quelle | Informationstheorie
BrainGain
https://www.youtube.com/watch?v=cguJC1jXkS8

Transkript (automatisch erstellt)

0:00 ja hallo und herzlich willkommen wieder zu neuen video im heutigen video geht es um die information und die entropie einer quelle die beiden definitionen
0:08 sind in dem bereich der informationstheorie einzuordnen wie jetzt hier kurz zu kurz zu beginn ihr seht ich habe jetzt hier schon die
0:15 sachen berechnet steht daran dass die aufnahme anscheinend eben nicht funktioniert hat wir werden das kann jetzt aber nochmal durch sprechen da die
0:22 rechnung sehr banal sind ich werde nicht noch mal alles abschreiben aber wir fangen jetzt einfach direkt an und zwar fange mit der
0:30 information an die informationen in einem elementarereignisse großes gleich xi ist etwas so mathematisch formuliert einfach mal das folgendermaßen definiert
0:40 dass die informationen die wtcc bezeichnet voll diesem elementarereignisse ist der rigorismus dual ist von 1 durch die
0:48 wahrscheinlichkeit des entsprechenden ereignisses das kann man auch über logarithmische gesetze umschreiben indem man dieses 1 durch zu einem hoch - 1
0:57 macht also p von ixiaro -1 und dann kaufen die prozent auch nach vorne zehn da vorne ziehen und hat man einfach - logarithmisch 2 von p e von xi
1:06 die einheit ist bittmann was auch ganz wichtig ist die information ist immer größer gleich null weil wir haben eine wahrscheinlichkeit um die
1:17 wahrscheinlichkeit ist immer zwischen 0 und 1 und dts hd logo rhythmus haben wir immer einen kleineren wert oder genau den wert 1 und damit haben wir halt
1:25 entweder hier null raus oder was negatives und damit wird das ganze immer positiv ja jetzt hier ein kleines beispiel was haben wir also jetzt hier
1:36 für elementar ereignis des emmentalischen es jetzt einmal gegeben dass wir die einzelnen ereignisse 1 2 und 3 erreichen können und diese
1:46 ereignisse erreichen wir eben mit den folgenden wahrscheinlichkeiten mir eins mit der wahrscheinlichkeit ein halb zwei mit der wahrscheinlichkeit innviertel
1:54 und drei auch mit der wahrscheinlichkeit ein drittel ja wie man schon an der definition hier oben sieht man kann die information immer nur für ein bestimmtes
2:01 ereignis berechnen das heißt was wir jetzt hier nur bereichern können ist dreimal die informationen von jedem ereignisse also
2:07 einmal das heißt einmal ii von x1 in die phonix dass ereignisse 12 12 die für nächstes 13 um das ganze macht man einfach indem man eine zier die
2:21 wahrscheinlichkeiten einsetzt das heißt wir haben hier einmal - logo rhytmus 2 von eineinhalb wenn man das aus rechnet kommt ein bit raus weil man kann den
2:32 rhythmus duales von 2 ist 1 dh wir können auch wieder diese einhalb zudem hoch - 1 und schreiben die -1 vorziehen und dann kehrt sich das minus wieder
2:43 wichtig ist hier die einheit dass man die noch dazu schreibt das ganze kann man verhältnis 2 und 3 machen da die hier die gleiche wahrscheinlichkeit
2:50 haben haben sie auch die gleiche information das heißt wir haben einfach - madrid muss zwei von einem viertel ist gleich
2:57 zwei bitte und das gleiche bei von 3 ja jetzt kommen jetzt entropie einer quelle im prinzip ist das ja eine weitere definition für die man die information
3:11 aber bereits benötigt das heißt entweder man muss sie sich vorher einzeln ausrechnen oder man rechnet halt direkt die entropie aus aber das gibt die
3:19 entropie einer quelle erst mal an allgemein ist kann man es so zu sich das so vorstellen das ist einfach die mittlere informationen pro symbolisch
3:28 das heißt wenn wir jetzt hier noch mehrere symbole hätten dann ist ja können wir uns fragen wie viele informationen haben wir eigentlich pro
3:37 symbol jetzt 20 symbole haben die sind alle haben jetzt alle eine andere information wie ist dann unsere nicht der mittelwert
3:45 dieser informationen die wir dann pro symbol pro ereignis ist jetzt hier gleich bedeutend haben und definiert wir das ganze einfach über h von iks und
3:56 weil wir hier in ermittlungen haben summieren wir im prinzip alle informationen auf mit der gewichtung der wahrscheinlichkeit
4:04 das heißt wir haben die summe von der wahrscheinlichkeit der das symbol das ereignis auftritt mal die information die dieses ereignis gesetzt dann kann
4:14 man jetzt die informationen hier von hier oben nochmal einsetzen kriegt noch hier diese weitere summe raus also mit dem - und dann hat
4:20 man hier nur noch die wahrscheinlichkeit des ereignisses in der summe drin stehen ganz wichtig ist hier dass ich die einheit zu bild zu bild pro symbol wird
4:29 weil wir hier ermittelt haben das heißt das ganze ist im mittel pro symbol die anzahl an bezahlt auch hier bleibt das ganze trotzdem größer gleich null da die
4:41 informationen ja größer null war und wer hier dann wieder das gleiche wie oben haben p von xi ist wieder zwischen 0 1 1 damit dass das hier wieder negativ die
4:50 wahrscheinlichkeit ist immer größer null und damit wird das ganze positiv ja die entropie wird einer quelle wird genau dann maximal falls alle symbole gleich
5:02 wahrscheinlich sind dh für p von xi gilt dann gleich 1 durch nnn die anzahl der symbole ist jetzt in unserem beispiel wäre n3 jetzt nicht die zahl drei
5:14 sondern drei symbole und definiert ist das ganze indem man einfach dann jetzt hier einsetzen sagt hugues von iks oft auch als 1 0 bezeichnet ist dann im
5:24 prinzip wenn jetzt erstmal den hinteren term hang gucken hätten wir für jedes symbol weil ihr alle gleich wahrscheinlich sind das heißt s p von xs
5:32 für alle gleich en hier drin stehen ist das wäre mir einzig in dem logo rhytmus davor 1 durch m da wir das ganze dann einmal summieren
5:40 und alle and therme gleich sind können wir das ganze mit einem multiplizieren das heißt hier dieses kürzlich hier direkt was wir dann halt noch hamm ist
5:48 wieder diese logik muss den können wir wieder das einzig in zu einem 1 0 - 1 - 1 wieder vorziehen umschreiben und das ergebnis ist dann logarithmisch 2 von
5:57 ende jetzt hier im beispiel wieder das gleiche beispiel wie hier oben da werden jetzt einfach die darstellung weil wir schon die informationen jetzt
6:04 eben berechnet haben und da ist denn die entropie einer quelle von nix ist dann ein halb dass die wahrscheinlichkeit mal die information plus ein viertel mal die
6:19 information und dann habe ich jetzt hier nochmal zwei geschrieben weil wir halt zwei und drei die genau die gleiche information haben ist es in dem fall
6:29 kann man das ganze leben vereinfachen dem man mal zweiter vor ja da sehen wir die konten halt raus hier kommt eins raus gibt zusammen drei
6:36 halbe und da es halt wichtig dass wir jetzt bit pro symbol sind wenn wir jetzt noch die maximale entropie mal auf unser beispiel
6:44 ausrechnen wollen dann ist bei uns drei und deswegen geben wir einfach eine logarithmisch duo alles von 3s 1585 ich hab das eben gerundet was hier noch mal
6:56 ein gibt dass der genaue wert falls euch interessiert und das ganze ist auch bitter symbol dann natürlich ich hoffe die beiden themen sind klar
7:05 ist im prinzip der definitionssache man möchte die halt oft berechnen im bereich der informationstheorie und falls es trotzdem fragen gibt schreibt
7:15 gerne einen kommentar und dann bedanke ich mich fürs zu sehen und bis zum nächsten video