Entscheidungsbäume als Teil des maschinellen Lernens

Entscheidungsbäume als Teil des maschinellen Lernens

Wir haben ja bereits über Deep Learning als Teildisziplin des maschinellen Lernens berichtet. Entscheidungsbäume sind ein ebenso wichtiger Teil dieser Art der Informationsverarbeitung. Sie werden nämlich nicht nur im Bereich des Data Mining häufig verwendet, um Strategien zur Zielführung abzuleiten, sondern eben auch beim maschinellen Lernen. Das Verfahren hilft uns bei der Entscheidungsfindung, da es verschiedene Möglichkeiten und Szenarien visualisiert.

Wir alle kennen Entscheidungsbäume – sei es auch nur als gedankliches Experiment.

Entscheidungsbäume Grafik

 

Entscheidungsbäume gehören zur Familie von Klassifikationsverfahren beim maschinellen Lernen und Deep Learning. Wie in der Grafik zu sehen ist, liefert ein Entscheidungsbaum eine Folge von (binären) Entscheidungen, die gemacht werden müssen, um zu entscheiden, welcher Klasse ein Datenpunkt zugehört. Wir beschäftigen uns in diesem Artikel daher ausschließlich mit dem Aufbau und der Funktionalität von Binärbäumen.

Maschinelles Lernen mit Hilfe von Entscheidungsbäumen

Wie man an der sehr vereinfacht und reduziert dargestellten Grafik oben sehen kann, steht der Baum eigentlich auf dem Kopf, die Wurzel befindet sich oben, die Äste verzweigen sich nach unten! Das bedeutet aber auch: Je komplexer ein Baum, desto besser kann er an das Problem angepasst werden. Diese Äste eines Entscheidungsbaumes lassen sich natürlich noch unendlich weiterspinnen, ganz wie die verzweigten Verästelungen der Bäume in der Natur. Man kann sich nun vorstellen, wie groß und weit verzweigt große Datensätze in einer solchen Baumstruktur aussehen müssen. Wie lassen sich nun diese Strukturen auf das maschinelle Lernen übertragen?

Woher kommen die Daten?

In der Anwendung im maschinellen Lernen werden Entscheidungsbäume natürlich nicht manuell aufgeschrieben, sondern automatisch aus gesammelten Erfahrungswerten abgeleitet. Das heißt: Algorithmen generieren automatisch Baumstrukturen aus einer Menge mehr oder weniger bekannter Daten. Diese Algorithmen werden als CART (Classification and Regression Trees) bezeichnet.

Wie ist ein einzelner Entscheidungsbaum aufgebaut?

  • jeder Knoten sowie der Wurzelknoten = Vektoren = logische Regel zur Beantwortung einer Fragestellung
  • jedes Blatt = Antwort auf diese Regel

Wie werden Entscheidungen getroffen?

Um Entscheidungen treffen zu können, müssen zunächst Entscheidungskriterien bestimmt werden. Mit Hilfe verschiedener Methoden aus der Welt der Informationstheorie ergeben sich somit hierarchisch aufeinanderfolgende Entscheidungen. An jedem Knoten findet somit eine neue Entscheidung statt. Jedes Blatt entspricht einer Klassifikation.

Was sind Klassifizierung und Regression?

Im Allgemeinen ergibt sich aus den oben bereits erwähnten Entscheidungsbaumalgorithmen eine automatische Klassifikation bzw. Regression.

Einfach gesagt: Bei Klassifikationsbäumen werden Variablen einer Klasse (z. B. Klasse Urlaubsziel) zugeordnet. Regressionsbäume werden prinzipiell auf die gleiche Weise dargestellt, Ziel ist es hier jedoch, kontinuierliche Werte zu prognostizieren.

Wie groß soll ein Entscheidungsbaum werden?

Diese Frage ist nicht leicht zu beantworten. Eine Möglichkeit zu wissen, wann ein Entscheidungsbaum „ausgewachsen“ ist, besteht zum Beispiel darin, die maximale Tiefe des jeweiligen Modells festzulegen. Die maximale Tiefe bezieht sich dabei auf die Länge des längsten Pfades von einer Wurzel zu einem Blatt.

Konkrete Anwendung von Entscheidungsbäumen im maschinellen Lernen

Beim maschinellen Lernen geht es im Grunde genommen darum, von erhobenen Daten zu lernen und dann Entscheidungen zu fällen. Entscheidungsbäume helfen nun unter Verwendung von vordefinierten Algorithmen dabei, aus einer Datenmenge eine hierarchische Struktur von möglichst wenig Entscheidungswegen zu bilden.

Vor- und Nachteile von CART

Entscheidungsbäume sind auf Grund ihrer Struktur einfach zu verstehen, zu interpretieren und zu visualisieren. Dabei wird implizit eine variable Prüfung oder Merkmalauswahl durchgeführt. Es können sowohl numerische als auch nicht-numerische Daten (z. B. kategorische Daten wie Frau, Herr etc., ordinale Daten wie Frau Prof. Dr.-Ing., Frau Dipl.-Ing. etc.) verarbeitet werden, was gleichzeitig relativ wenig Aufwand seitens des Benutzers für die Datenaufbereitung erfordert.

Auf der anderen Seite können auch zu komplexe Bäume erstellt werden, die die Daten nicht gut verallgemeinern. Dies wird dann Überanpassung genannt. Durch kleine Variationen in den Daten können die Bäume auch instabil werden, sodass ein Baum erzeugt wird, der das gestellte Problem nicht löst. Dieses Phänomen bezeichnet man dann als Varianz.

Sie finden das Thema „Maschinelles Lernen“ genau so spannend wie wir? Dann kontaktieren Sie uns gerne: https://www.meta-level.de/kontakt/

Kommentar verfassen

Durch die Nutzung dieser Webseiten erklären Sie sich mit der Verwendung von Cookies einverstanden. Nähere Informationen über die Verwendung und den Zweck von Cookies auf diesem Internetportal erhalten Sie in unserer Datenschutzerklärung | Einverstanden