Resources
Article
Large Language Models (LLMs) wie in ChatGPT sind fortschrittliche Modelle, die darauf ausgelegt sind, natürliche Sprache zu verarbeiten und auszugeben. Sie werden mit umfangreichen Sprachdatensätzen trainiert, um Texte zu verstehen und vorherzusagen. Indem sie komplexe Abhängigkeiten zwischen Wörtern über lange Texte hinweg lernen, erfassen sie Beziehungen innerhalb der Sprache und generieren kontextbewusste Texte basierend auf den erlernten Mustern. Daher eignen sich LLMs hervorragend für Aufgaben wie Übersetzungen, Zusammenfassungen oder die Erstellung von Inhalten.
Optimierung stellt hingegen eine andere Art von Herausforderung dar: Es geht darum, die beste Lösung für ein Problem innerhalb gegebener Einschränkungen zu finden, indem eine Zielfunktion minimiert oder maximiert wird. Zum Beispiel: das Packen eines Rucksacks mit verschiedenen Gegenständen, von denen jeder einen bestimmten Wert hat. Das Ziel ist es, den Gesamtwert der eingepackten Gegenstände zu maximieren, während die Kapazitätsgrenze des Rucksacks von 40 Litern eingehalten wird. Dieses Szenario veranschaulicht ein Optimierungsproblem: den höchsten Gesamtwert zu erreichen, während die Platzbeschränkung berücksichtigt wird. Und es gibt viele weitere Beispiele, praktisch überall dort, wo Entscheidungen getroffen werden müssen, bei denen die beste Lösung aus einer Vielzahl möglicher Optionen ausgewählt werden soll.
Generell erfordern Optimierungsprobleme oft präzise, optimale oder zumindest zulässige Lösungen in einem großen, diskreten Suchraum. LLMs bieten keine Garantie für korrekte Lösungen bei Optimierungsaufgaben; sie liefern Ansätze, die als ungefähre Orientierung dienen können, jedoch ohne Gewähr für ihre Genauigkeit oder Machbarkeit. Einfach ausgedrückt: LLMs berechnen keine Lösungen, sondern treffen Vermutungen, was Lösungen sein könnten, ohne die Richtigkeit zu garantieren.
Optimierungsalgorithmen gewährleisten die Korrektheit einer Lösung, indem sie sicherstellen, dass alle vorgegebenen Bedingungen zuverlässig erfüllt werden. Wenn nicht, passt der Algorithmus die Lösung an oder sucht nach einer anderen, bis er ein gültiges, optimales Ergebnis findet. LLMs hingegen sind nicht darauf ausgelegt, solche Überprüfungen durchzuführen. Die Bewertung, ob eine Lösung den spezifischen Einschränkungen eines Problems entspricht, erfordert Berechnungen, die LLMs nicht beherrschen.
Ein einfaches Beispiel hierfür ist das Lösen eines Sudoku-Rätsels. Im Kern ist Sudoku ein simples Optimierungsproblem. Ein 9x9-Sudoku kann naiv als Optimierungsproblem mit 9x9x9 = 729 Variablen formuliert werden. In der Praxis überschreiten Optimierungsprobleme jedoch oft zehntausende oder sogar hunderttausende Variablen.
Ein LLM „löst“ ein Sudoku, indem es die fehlenden Zahlen basierend auf bereits gelernten Mustern vorhersagt. Dabei gibt es jedoch keine expliziten Prüfungen, die sicherstellen, dass jede Zahl nur einmal pro Reihe, Spalte und 3x3-Block erscheint. Das funktioniert möglicherweise bei einfacheren Sudokus, scheitert jedoch bei schwierigeren. Im Gegensatz dazu wendet ein Optimierungsalgorithmus systematisch Regeln und Einschränkungen an, um die richtige Zahl für jedes Feld zu finden, und garantiert so eine gültige Lösung für jedes Sudoku-Rätsel.
Um dies zu verdeutlichen, nehmen wir ein einfaches Sudoku-Beispiel, bei dem ChatGPT die richtige Lösung nur dann liefert, wenn wir vorgeben, mit „4 3 5“ zu beginnen. Andernfalls liefert es keine korrekte Lösung.
Man kann leicht erkennen, dass die Sudoku-Regeln verletzt wurden, wenn keine zusätzlichen Hinweise gegeben wurden, und dass ChatGPT sogar die Ausgangsdaten geändert hat. Dies kann leicht selbst ausprobiert werden: kopiere einfach ein Sudoku-Bild und füge es in ein ChatGPT-Prompt ein.
Aus diesem Grund werden kombinatorische Optimierungsprobleme stets mit spezialisierten Algorithmen (wie Branch-and-Bound oder dynamischen Programmiertechniken) angegangen, die darauf ausgelegt sind, zulässige Lösungen zu garantieren und transparente Schritte zur Lösung zu bieten. Glauben Sie uns nicht? Fragen Sie ChatGPT nach seinen Einschränkungen, und es wird antworten: „Als LLM bin ich nicht darauf ausgelegt, große, komplexe Optimierungsprobleme direkt zu lösen, wie es spezialisierte Optimierungslöser können. Ich kann jedoch bei der Formulierung, Vereinfachung und Erklärung von Ansätzen zu solchen Problemen helfen.“
Bei Quantagonia glauben wir, dass der Schlüssel in der Kombination beider Welten liegt: Wir bieten eine benutzerfreundliche LLM-Schnittstelle, die zwischen der natürlichen Sprache, in der der Nutzer das Problem beschreibt, und der komplexen mathematischen Sprache unserer Optimierungslöser übersetzt.
