Große Sprachmodelle (LLMs) wie GPT-4, Gemini 1.5 und Claude 3.5 haben Fortschritte in Argumentation, Dialog und sogar Verhandlungen gemacht. Aber wenn diese KI -Agenten in eine strategische Umgebung aufgenommen werden, die Geheimhaltung und Täuschung erfordert, zeigen sie eine erhebliche Schwäche: Sie können kein Geheimnis halten.
Ein neues Studie Von den Forschern Mustafa O. Karabag und Ufuk Topcu an der Universität von Texas in Austin setzen LLMs auf die Prüfung Das Chamäleonein Brettspiel versteckte Identität, bei dem die Spieler Informationen strategisch enthüllen, verbergen und schließen müssen. Die Ergebnisse deuten darauf hin, dass KI zwar Täuschung identifizieren kann, sie jedoch Schwierigkeiten hat, kritische Informationen zurückzuhalten, wodurch sie für kontroverse Szenarien nicht geeignet sind, in denen Diskretion der Schlüssel ist.
KI spielt Das Chamäleon Spiel – und scheitert bei der Strategie
In Das ChamäleonEine Gruppe von Spielern erhält ein geheimes Wort außer einem – dem Chamäleon -, das das Geheimnis basierend auf den Antworten der Gruppe ableiten muss. Die Nicht-Chameleon-Spieler müssen sich ausgleichen, um sich zu erkennen, um sich gegenseitig zu erkennen und das Chamäleon im Dunkeln zu halten. Das Spiel verlangt einen fein abgestimmten Ansatz für den Informationsaustausch: zu viel, und das Chamäleon erraten das Wort; Zu wenig, und die Gruppe identifiziert das Chamäleon nicht.
Als AI -Agenten die Rollen übernahmen, fielen ihre strategischen Instinkte auseinander. Während LLMs wie GPT-4O das Chamäleon in 61% der Fälle korrekt identifizieren konnten, war ihre Fähigkeit, das geheime Wort verdeckt zu halten, düster. Die Studie ergab, dass Chamäleon AIS das geheime Wort mit einer erstaunlichen Erfolgsquote von 87% schließen könnte – siehe höher als erwartet.
KI kann jetzt klicken, scrollen und für Sie tippen – aber ist das eine gute Sache?
Theoretische Modelle bestätigen das Über-Sharing-Problem der KI
Um diese Fehler zu verstehen, entwickelten Forscher mathematische Modelle, die optimale Strategien zum Verbergen und Aufdecken von Informationen vorhersagen. Theoretisch sollten Nicht-Chameleon-Spieler ungefähr 23% der Fälle gewinnen, auch wenn sie das geheime Wort vollständig ignoriert haben. Stattdessen gewannen KI-Nicht-Chameleons nur 6% der Spiele, was darauf hindeutet, dass sie zu viele Informationen austreten.
„AI-Agenten instinktiv überreveal“, schließt die Studie. Als LLMs die Möglichkeit erhielt, ihre eigenen Strategien zu entwickeln, neigten sie zu einer übermäßigen Offenlegung, was es dem Chamäleon leicht erleichterte, das Geheimnis abzuleiten. Dies entspricht den Erkenntnissen anderer Spiele für soziale Abzüge, wie z. Spionagefallwo sich die KI -Spieler als zu stark auf Schlüsselwörter verlassen und unbeabsichtigt Gegner abgeben.
Warum KI keine Geheimnisse behalten kann
Die Forscher nehmen an, dass die grundlegende Ausbildung der KI für Geheimhaltung schlecht geeignet ist. LLMs sind so konzipiert, dass sie Kohärenz und Hilfsbereitschaft maximieren, was häufig bedeutet, Muster zu vervollständigen, anstatt Informationen strategisch zu halten. Diese assoziative Tendenz widerspricht direkt mit der Notwendigkeit, Schlüsseldetails in kontroversen Interaktionen zu verdecken.
Um dies zu bestätigen, führten die Forscher zusätzliche Tests durch, indem sie die Web -Suchergebnisse zählen, um zu verfolgen, wie viele Informationen die KI -Player versehentlich enthüllt haben. Selbst nach nur einer Reaktion eines Nicht-Chameleon-LLM konnte die Chamäleon-KI das geheime Wort bereits mit einer Wahrscheinlichkeit von 40% erraten, dass die Antworten der KI weitaus mehr Informationen als beabsichtigt waren.
Wenn zu viele Informationen zu einer Haftung für KI werden
Wenn LLMs mit strategischer Ermessen in kontrollierten Umgebungen zu kämpfen haben, wie werden sie dann mit realen Szenarien umgehen, in denen die Verschleierung von Informationen kritisch ist? Anwendungen in Cybersicherheit, Diplomatie oder wettbewerbsfähigen Business Intelligence erfordern möglicherweise KI -Systeme, um mit weitaus größerer Nuancen zu arbeiten.
Um dies zu beheben, müssen KI-Entwickler möglicherweise Modelle mit einem stärkeren Fokus auf strategische Mehrdeutigkeiten ausbilden und ihren Instinkt auf überdisklase verringern. Techniken wie das kontroverse Verstärkungslernen oder ein explizites Täuschungstraining könnten dazu beitragen, die Fähigkeit von AI auszugleichen, Informationen zu schließen, ohne das Spiel sofort zu verschenken.
Im Moment bleibt KI jedoch ein schlechter Pokerspieler. Obwohl es großartig sein mag, Täuschung zu erkennen, bedeutet die Unfähigkeit, Geheimnisse zu halten, aber es ist immer noch nicht bereit für die Welt der strategischen Argumentation mit hohen Einsätzen.
Ausgewähltes Bildnachweis: Kerem Gülen/Midjourney
