AutoToS: Wie KI die Thought of Search-Optimierung modernisiert

AutoToS hebt die Thought of Search-Optimierung mit Hilfe von KI auf die nächste Stufe. Hier erfährst du, wie das funktioniert.

Rückblick: ToS und seine Herausforderungen

In meinem letzten Beitrag habe ich beschrieben, wie Thought of Search (ToS) menschliche Intelligenz mit KI kombiniert, um Such- und Planungsaufgaben effizienter zu gestalten. Mit AutoToS gehen Forscher nun einen Schritt weiter: Sie haben das ursprüngliche Konzept weiterentwickelt und den menschlichen Einfluss aus der Feedback-Schleife des klassischen ToS entfernt – zugunsten einer vollständig automatisierten Optimierung.

AutoToS: Die KI basierte Weiterentwicklung von ToS

AutoToS bringt Thought of Search auf das nächste Level, indem es den menschlichen Einfluss in der Feedback-Schleife vollständig ersetzt. Während beim klassischen ToS manuelle Eingriffe erforderlich waren. Um generierten Code zu überprüfen setzt AutoToS auf eine automatisierte Lösung: vorgefertigte Unit-Tests. Diese Tests analysieren zwei entscheidende Aspekte:

Korrektheit: Der generierte Code enthält keine Fehler.

Vollständigkeit: Alle möglichen Lösungen werden gefunden.

Dadurch wird der Optimierungsprozess effizienter, schneller und vollständig autonom.

So funktioniert AutoToS: Automatisierte Code-Generierung mit LLMs

Schritt 1: Code-Generierung durch das LLM

Der Code für die Nachfolgerfunktion und den Zieltest wird vom LLM generiert. Diese Funktionen bestimmen, welche folgenden Zustände existieren und ob ein Zielzustand erreicht wurde.

Schritt 2: Automatisierte Tests (Unit-Tests)

Diese Tests werden zuvor bereitgestellt und dienen dazu, die Korrektheit und Vollständigkeit der Funktionen zu prüfen.

Schritt 3: Feedback und Verbesserung

Falls bei der Durchführung der Unit-Tests Fehler erkannt werden, gibt das System Feedback an das LLM. Das LLM passt den Code unter Berücksichtigung des Feedbacks an, um die Fehler zu beheben.

Abbildung 1: Vereinfachte Darstellung der Funktionsweise von AutoToS. Quelle: eigene Darstellung in Anlehnung an 1

Schritt 4: Iterativer Prozess

Dieser Prozess wird so lange wiederholt, bis die Unit-Tests erfolgreich abgeschlossen und der Code korrekt ist.

Der Vorteil: Effizienzgewinn durch AutoToS

AutoToS nimmt Entwickler:innen die mühsame Code-Überprüfung ab. Statt in jeder Iteration manuell eingreifen zu müssen, läuft die Optimierung jetzt vollständig automatisiert ab. Während beim klassischen ToS der Mensch noch jede Funktion auf Korrektheit prüfen musste, übernehmen diese Aufgabe nun intelligente Unit-Tests. Sie erkennen Fehler, geben dem LLM direktes Feedback und ermöglichen so eine effiziente, fehlerfreie Weiterentwicklung – ganz ohne menschliches Zutun.
Forscher haben AutoToS in verschiedenen Such- und Planungsproblemen, wie beispielsweise Sokoban oder 24 Game getestet. Hierfür wurden LLMs unterschiedlicher Größen verwendet. Dabei wurde für jedes Problem mit nur wenigen Iterationen eine Genauigkeit von 100 Prozent erreicht.
Dank der enormen Zeitersparnis durch dieses Konzept lassen sich Planungsprobleme deutlich vereinfachen. Der gesamte Prozess wird nicht nur schneller, sondern auch effizienter.

Ausblick: Wie sich Thought of Search mit AutoToS weiterentwickeln wird

AutoToS markiert einen weiteren Meilenstein in der Automatisierung von Planungs- und Suchprozessen. Durch den Einsatz automatisierter Tests entfällt der menschliche Einfluss in der Feedback-Schleife vollständig. Künftig könnten Systeme sogar eigenständig Unit-Tests erstellen, wodurch der manuelle Aufwand weiter sinkt. Die Forschung zeigt zudem, dass auch kleinere KI-Modelle beachtliche Ergebnisse liefern – eine gezielte Feinabstimmung könnte sie sogar auf das Niveau größerer Modelle heben.

Automating Thought of Search: A Journey Towards Soundness and Completeness. URL: https://arxiv.org/abs/2408.11326

Der Beitrag AutoToS: Wie KI die Thought of Search-Optimierung modernisiert erschien zuerst auf Business -Software- und IT-Blog – Wir gestalten digitale Wertschöpfung.