GEPA senkt die KI -Schulungskosten um bis zu fünfzehn Mal

Forscher der University of California, Berkeley, der Stanford University und der Datenbank haben eine neue Methode namens namens vorgestellt Gepa Das ersetzt das traditionelle Lernen für Versuch und Irrtum durch das Sprachverständnis einer KI. Laut einem kürzlich erschienenen Artikel, in dem die Forschung zusammengefasst ist, ist dieser Ansatz nicht nur genauer, sondern auch wesentlich effizienter, was überlegene Ergebnisse mit bis zu bis zu 35 Zeiten weniger Versuche als etablierte Techniken.

Die Ineffizienz des traditionellen Verstärkungslernens

Moderne AI -Anwendungen für Enterprise sind häufig „zusammengesetzte KI -Systeme“, bei denen komplexe Workflows, die mehrere KI -Module und externe Tools wie Datenbanken oder Codeinterpreten verbinden, verbinden. Eine beliebte Möglichkeit, diese Systeme zu optimieren, ist das Verstärkungslernen (RL), das das System als Black Box behandelt. Diese Methode führt eine Aufgabe aus und erhält eine einfache numerische Punktzahl oder eine „skalare Belohnung“ (z. B., z. 7/10) und verwendet dieses Feedback, um die Parameter des Modells langsam anzupassen. Der Hauptnachteil dieses Ansatzes ist die „Stichprobeneffizienz“.

Um effektiv aus diesen spärlichen numerischen Bewertungen zu lernen, erfordern RL -Methoden häufig Zehntausende oder sogar Hunderttausende von Versuchsläufen, die als „Rollouts“ bezeichnet werden. Für jede reale Anwendung mit teuren Tools oder leistungsstarken proprietären Modellen ist dieser Prozess unerschwinglich langsam und kostspielig. Als einer der Co-Autoren des Papiers, Lakshya, bemerkte diese Komplexität RL für viele Teams, die stattdessen häufig auf manuelles Umlauf-Engineering zurückgreifen. GEPA wurde entwickelt, um diese Herausforderung anzugehen, insbesondere für Teams, die Systeme optimieren müssen, die auf Top-Tier-Modellen basieren, die nicht leicht fein abgestimmt werden können.

Wie Gepa Sprache verwendet, um zu lernen und sich weiterzuentwickeln

Das GEPA (Genetic-Pareto) -Frahmen befasst sich mit der Ineffizienz von RL, indem sie spärliche numerische Belohnungen durch reichhaltiges, natürliches Sprachfeedback ersetzen. Es nutzt die Tatsache, dass die gesamte Ausführung eines KI -Systems, einschließlich seiner Argumentationsschritte, Toolsaufrufe und Fehlermeldungen, in Text umgewandelt werden kann, das ein KI -Modell lesen und analysieren kann. Die Methodik basiert auf drei Kernsäulen.

• Genetische promptale Evolution: GEPA behandelt eine Sammlung von Aufgaben wie einen Genpool. Es „mutiert“ diese Aufforderungen iterativ, um neue, potenziell bessere Versionen für das KI -System zu erstellen.
• Reflexion mit natürlicher Sprache Feedback: Dies ist die Hauptinnovation. Nach ein paar Testläufen bietet GEPA ein KI -Modell mit dem vollständigen Text dessen, was das System zu tun versuchte und was schief gelaufen ist. Das Modell „reflektiert“ dann dieses Feedback, um das Problem in der Klartext zu diagnostizieren und eine verbesserte Eingabeaufforderung zu schreiben. Anstatt beispielsweise nur eine niedrige Punktzahl zu sehen, kann es einen Compiler -Fehler analysieren und zu dem Schluss kommen, dass die Eingabeaufforderung eine bestimmte Bibliotheksversion angeben muss.
• Pareto-basierte Auswahl: Um nicht auf einer einzigen, suboptimalen Lösung festzuhalten, behält die GEPA eine vielfältige Liste hochleistungsfähiger „Spezialisten“ -Anformationen bei. Durch die Verfolgung, die auf verschiedenen Beispielen am besten geeignet ist, wird eine breitere Reihe von Strategien untersucht und findet eher eine Lösung, die in vielen Eingaben gut funktioniert.

Die Forscher bewerteten GEPA über vier verschiedene Aufgaben hinweg und stellten fest, dass sie die RL-basierte Methode GRPO erheblich übertroffen hat. Bei der Prüfung erreichte GEPA bis a 19% höher 35 Mal Weniger Rollouts. In einem konkreten Beispiel optimierte GEPA ein Fragen-Beantwortungssystem ungefähr in ungefähr 3 Std. mit Kosten von weniger als $ 20während der RL-basierte Ansatz verfolgte 24 Stunden und kostet über $ 300darunter eine Zeitverringerung der 8 -fachen Zeit und eine Kosten für bessere Ergebnisse um 15x.

Abgesehen von der RAW-Leistung wurde festgestellt, dass GEPA-optimierte Systeme für neue, unsichtbare Daten zuverlässiger sind, die die Forscher dem reicheren, sprachbasierten Feedback zuschreiben. Die von GEPA produzierten Eingabeaufforderungen waren ebenfalls vorhanden 9.2 Zeiten kürzer als die von anderen Optimierern, was die Latenz und die Kosten in der Produktion verringert. Die Forscher stellten außerdem fest, dass GEPA als Problemlöser „Inferenzzeit“ verwendet werden kann und Lösungen automatisch in einer kontinuierlichen Integrationspipeline generiert und verfeinert werden. In einem Experiment steigerte dieser Ansatz die Leistung bei den Aufgaben der Codegenerierung auf eine Expertenebene auf 20% der Aufgabenein Niveau, das erreicht wurde 0% der Aufgaben durch einen Standard-Single-Shot-Versuch von GPT-4O.