Entropie

Entropie: Das Maß für Unordnung im Datensatz

Stell dir vor, du hast eine Kiste mit Bauklötzen. Wenn alle Klötze nach Farben sortiert in Reihen liegen, herrscht in der Kiste Ordnung. Du weißt genau, wo welcher Klotz ist.

Wenn du die Kiste schüttelst, fliegen die Klötze durcheinander. Jetzt herrscht Unordnung. Es ist viel schwieriger vorherzusagen, wo ein bestimmter Klotz landet.

Genau so ist es auch mit Daten im maschinellen Lernen. Entropie ist ein Maß dafür, wie "unordentlich" oder "unsicher" unsere Daten sind, besonders wenn es um die Klassifizierung geht – also darum, Datenpunkten die richtige Kategorie zuzuordnen.

Was bedeutet "Unordnung" in Daten?

Im maschinellen Lernen betrachten wir oft Datensätze, bei denen jeder Datenpunkt zu einer bestimmten Klasse gehört. Zum Beispiel:

• Spam-Erkennung: Eine E-Mail ist entweder "Spam" oder "kein Spam".
• Bilderkennung: Ein Bild zeigt entweder eine "Katze" oder einen "Hund".

Hohe Entropie bedeutet, dass die Klassen in unserem Datensatz stark gemischt sind. Es ist schwer vorherzusagen, zu welcher Klasse ein neuer Datenpunkt gehören wird. Die "Unordnung" ist groß.

Niedrige Entropie bedeutet, dass die Klassen in unserem Datensatz gut getrennt sind. Die meisten Datenpunkte einer bestimmten Klasse ähneln sich stark. Es ist einfacher vorherzusagen, zu welcher Klasse ein neuer Datenpunkt gehört. Die "Ordnung" ist hoch.

Ein einfaches Beispiel

Stell dir vor, du hast zwei Schüsseln mit Gummibärchen:

• Schüssel A: 8 rote Gummibärchen und 2 grüne Gummibärchen.
• Schüssel B: 5 rote Gummibärchen und 5 grüne Gummibärchen.

Schüssel A hat eine niedrigere Entropie. Es gibt viel mehr rote als grüne Gummibärchen. Wenn du blind ein Gummibärchen ziehst, ist es sehr wahrscheinlich rot. Die "Unsicherheit" ist gering.

Schüssel B hat eine höhere Entropie. Es gibt gleich viele rote und grüne Gummibärchen. Wenn du blind ein Gummibärchen ziehst, ist es schwer vorherzusagen, welche Farbe es haben wird. Die "Unsicherheit" ist groß.

Wie wird Entropie berechnet?

Die Entropie wird mit einer mathematischen Formel berechnet. Keine Sorge, du musst sie jetzt nicht auswendig lernen, aber es ist gut zu wissen, dass es eine genaue Methode gibt, um die "Unordnung" in Zahlen auszudrücken.

Für einen Datensatz mit zwei Klassen (z.B. Ja/Nein, Katze/Hund) berechnet sich die Entropie (oft mit H abgekürzt) wie folgt:

H=−(p1​⋅log2​(p1​)+p2​⋅log2​(p2​))

Dabei ist:

• p1 der Anteil der Datenpunkte, die zur 1. Klasse gehören (z.B. Anteil der "Ja"-Antworten).
• p2​ der Anteil der Datenpunkte, die zur 2. Klasse gehören (z.B. Anteil der "Nein"-Antworten).
• log2​ der Logarithmus zur Basis 2.

Wichtig:

• Wenn alle Datenpunkte zur gleichen Klasse gehören (p1​ = 1 oder p2​ = 1), dann ist die Entropie 0. Es herrscht perfekte Ordnung.
• Wenn die Klassen gleichmäßig verteilt sind (p1​ = 0.5 und p2​ = 0.5), dann ist die Entropie maximal (für zwei Klassen ist das 1). Die Unordnung ist am größten.

Entropie und maschinellen Lernen

Entropie ist ein wichtiges Konzept, besonders beim Training von Entscheidungsbäumen. Entscheidungsbäume versuchen, die Daten in immer kleinere Gruppen aufzuteilen, bis jede Gruppe möglichst "rein" ist – also nur noch Datenpunkte derselben Klasse enthält.

Bei jedem Schritt überlegt der Entscheidungsbaum, welche Frage (welches Merkmal) die größte Reduktion der Entropie bringt. Das bedeutet, er wählt die Frage, die die "Unordnung" in den resultierenden Gruppen am stärksten verringert und die Daten so besser trennt.

Stell dir vor, du willst herausfinden, ob jemand gerne Pizza mag. Du könntest verschiedene Fragen stellen:

• "Magst du Käse?" (Kann sowohl Pizzafans als auch Nicht-Pizzafans betreffen)
• "Magst du Tomatensauce?" (Ähnlich wie bei Käse)
• "Magst du Pizza?" (Diese Frage trennt die Pizzafans perfekt von den Nicht-Pizzafans!)

Die letzte Frage würde die Entropie am stärksten reduzieren, da die resultierenden Gruppen perfekt "rein" wären (nur Pizzafans oder nur Nicht-Pizzafans).