Stellen Sie sich eine digitale Arena vor, in der Large Language Models (LLMs) ihre textbasierte Komfortzone verlassen und in die elektrisierende Welt von Street Fighter III eintauchen. Das ist die Essenz des LLM Colosseum – eine clevere Möglichkeit, LLMs zu vergleichen.
Was ist die Idee?
Das LLM Colosseum wurde mit einer einfachen, aber bahnbrechenden Idee konzipiert: die Grenzen der KI über herkömmliche Aufgaben hinaus zu verschieben. Indem sie LLMs einluden, sich in Street Fighter III zu messen, wollten sie ihre Anpassungsfähigkeit und ihr strategisches Können in einer dynamischen Spielumgebung testen.
Wir stellen vor: LLM Kolosseum!
Bewerten Sie die Qualität von LLMs, indem Sie sie in Street Fighter III in Echtzeit kämpfen lassen!
Wer ist der beste ? @OpenAI oder @MistralAI ?
Lasst sie kämpfen! Open-Source-Code und Ranking
pic.twitter.com/GF6HOkVHIA
— Stan Girard (@_StanGirard) 24. März 2024
Hinter den Kulissen nutzt das Kolosseum die Leistungsfähigkeit von Emulatoren und APIs, um die rasante Action von Street Fighter III nachzubilden. LLMs haben die Aufgabe, Charaktere wie Ken oder Ryu zu steuern und ihre Sprachverarbeitungsfähigkeiten zu nutzen, um im Bruchteil einer Sekunde Entscheidungen zu treffen und Bewegungen im Spiel auszuführen.
Wie spielen sie?
Im LLM Colosseum wird jeder Spieler durch ein LLM repräsentiert, ein fortschrittliches KI-Modell, das Textbeschreibungen des Spielbildschirms verarbeiten und darauf reagieren kann. Dieser agentenbasierte Ansatz ermöglicht es jedem LLM, autonom über die nächsten Schritte seines Charakters zu entscheiden, basierend auf verschiedenen Faktoren wie seinen vorherigen Aktionen, den Bewegungen seiner Gegner sowie seinem eigenen Kraft- und Gesundheitsstatus.
Um ein reibungsloses und reaktionsschnelles Gameplay zu gewährleisten, verwendet das System Multithreading-Technologie. Dies bedeutet, dass die Spiel-Engine mehrere Prozesse gleichzeitig verarbeiten kann, was Echtzeitinteraktionen zwischen den LLMs und der Spielumgebung ermöglicht. Dadurch können Spieler den Nervenkitzel dynamischer Schlachten ohne spürbare Verzögerung erleben.
Mit dieser Kombination aus agentenbasierter Steuerung, Multithreading und Echtzeitverarbeitung bietet das LLM Colosseum ein immersives Spielerlebnis, bei dem KI-Einheiten in rasante Kämpfe verwickelt werden und in der Hitze des Gefechts ihre Entscheidungskompetenz und Anpassungsfähigkeit unter Beweis stellen.
Während die virtuellen Kämpfer ihre Positionen einnehmen, analysieren LLMs den Spielstatus und entwickeln ihre Bewegungen auf der Grundlage kontextbezogener Eingabeaufforderungen. Ob es darum geht, einen verheerenden Superzug zu starten oder einen präzisen Gegenangriff zu planen, jede Entscheidung spiegelt das Verständnis der KI für die Spielmechanik und ihren strategischen Ansatz zum Sieg wider.
Wer gewann?
Bei den Street Fighter III-Kämpfen im LLM Colosseum gab es keinen klaren Sieger. Stattdessen stachen verschiedene Modelle wie claude_3_haiku, claude_3_sonnet und claude_2 auf der Bestenliste hervor. Diese Modelle zeigten ihre Stärke im virtuellen Ring, aber es gab keinen einzigen Champion. Bei dem Wettbewerb ging es eher darum, zu verstehen, wie verschiedene KI-Modelle in Spieleszenarien funktionieren. Jedes Spiel gab uns Einblicke in die Art und Weise, wie diese Modelle in dynamischen Situationen denken und Entscheidungen treffen, was die Veranstaltung zu einer spannenden Erkundung der KI-Fähigkeiten machte.
Die Beobachtung von LLMs in der Street Fighter III-Arena hat faszinierende Einblicke in ihre Fähigkeiten und Verhaltensweisen geliefert. Von adaptiven Strategien bis hin zu unerwarteten Taktiken haben diese KI-Kämpfer eine bemerkenswerte Fähigkeit bewiesen, die Komplexität des Echtzeit-Gameplays zu bewältigen, und ihr Potenzial über traditionelle KI-Aufgaben hinaus unter Beweis gestellt.
Sie können dem LLM Kolosseum beitreten
Wenn Sie daran interessiert sind, selbst mitzumachen und den Benchmark durchzuführen, finden Sie den gesamten erforderlichen Code und die gesamte Dokumentation unter GitHub. Dies bedeutet, dass Sie die Möglichkeit haben, Eingabeaufforderungen anzupassen, neue LLM-Anwärter vorzustellen und tiefer in das Verhalten von Modellen einzutauchen.
Egal, ob Sie ein Gaming-Enthusiast oder ein KI-Fan sind, das LLM Colosseum bietet einen Platz in der ersten Reihe in der actiongeladenen Welt der Street Fighter III-Schlachten. Werden Sie Zeuge des Aufeinandertreffens digitaler Titanen oder betreten Sie selbst die Arena, um in diesem spannenden Experiment die Schnittstelle zwischen KI und Gaming zu erkunden.
Schnappen Sie sich also Ihr Popcorn und bereiten Sie sich auf eine adrenalingeladene Reise vor, bei der KI im ultimativen Kampf um die Vorherrschaft auf Arcade-Klassiker trifft!
Hervorgehobener Bildnachweis: Stan Girard
