Forscher der Princeton University und der University of Chicago fanden heraus, dass große Sprachmodelle (LLMs), einschließlich Tools wie ChatGPT, Vorurteile nicht nur aus menschlichen Trainingsdaten, sondern auch aus ihren eigenen Erfahrungen in simulierten Einstellungsszenarien entwickeln können. In diesen Experimenten trennten die Modelle Kandidaten anhand demografischer Informationen nach der Interpretation früher Ergebnisse und zeigten im Vergleich zu menschlichen Teilnehmern eine erhöhte Tendenz zur Stereotypisierung von Bewerbern.
Die Studie nutzte ein simuliertes Einstellungsspiel mit 20 Berufsrollen, etwa Ärzten und Hausmeistern, in vier fiktiven ethnischen Gruppen: Tufa, Aima, Reku und Weki. Jedes Modell hatte die Aufgabe, über 40 Runden hinweg die Anzahl erfolgreicher Einstellungen zu maximieren, ohne zu wissen, dass alle Kandidaten die gleichen Erfolgschancen hatten. Models passten ihre Einstellungspräferenzen häufig an, nachdem sie erfahren hatten, dass bestimmte Kandidaten in bestimmten Positionen versagten oder Erfolg hatten. Wenn beispielsweise ein Aima-Kandidat als Arzt keine guten Leistungen erbrachte, gingen die Models dazu über, Aimas stattdessen für Hausmeisterpositionen einzustellen.
Der Studie zufolge schnitten LLMs auf einer Segregationsskala deutlich besser ab als menschliche Probanden und lagen im Durchschnitt bei etwa 1,83, verglichen mit 0,84 für Menschen. Co-Autor Ryan Liu, ein Doktorand in Princeton, erklärte: „LLMs sind wirklich bestrebt, aus begrenzten Daten Verallgemeinerungen zu erstellen.“ Diese Tendenz zur schnellen Verallgemeinerung kann zu schädlichen Stereotypen führen, da neuere Modelle noch stärkere Vorurteile aufwiesen.
Die Auswirkungen sind erheblich, insbesondere da KI-Chatbots über erweiterte Speicher- und Personalisierungsfunktionen verfügen. Angelina Wang, Informatikerin an der Cornell University, bemerkte, dass Chatbots tief verwurzelte Vorurteile entwickeln könnten, wenn sie sich zu sehr auf frühere Interaktionen verlassen. Eine einfache Reduzierung des Speichers ist keine Lösung, da Benutzer Systeme bevorzugen, die sich ihre Eingaben merken.
Die Studie ergab, dass die Anweisung an die Modelle, Fairness zu priorisieren, nur begrenzte Auswirkungen auf ihr Verhalten hatte. Allerdings führten Anreize für vielfältige Einstellungen zu einer weniger voreingenommenen Entscheidungsfindung. Liu wies darauf hin, dass die Integration sozialer Ziele in KI-Ziele sozial verantwortlicheres Verhalten in Sprachmodellen fördern könnte.
Darüber hinaus zeigten LLMs weniger Vorurteile, wenn sie relevantere persönliche Informationen über Kandidaten wie Alter und Bildung erhielten, im Gegensatz zu irrelevanten Details wie der Haarfarbe. Die Studie verdeutlicht die Unsicherheit hinsichtlich der praktischen Anwendung dieser Erkenntnisse, insbesondere da KI-Modelle, die Bewerbungen prüfen, kein unmittelbares Feedback zu Einstellungen erhalten.
Die Forscher äußerten Bedenken, dass, da Unternehmen zunehmend LLMs für die Prüfung von Lebensläufen und andere kritische Bewertungen einsetzen, das Risiko besteht, dass die Modelle ohne direkte menschliche Eingabe neuartige Verzerrungen entwickeln. „Diese neuartigen Vorurteile – sie sind irgendwie allgegenwärtig“, sagte Liu und betonte die Notwendigkeit einer Sensibilisierung, da der Einsatz von KI bei Einstellungs- und anderen Entscheidungsprozessen zunimmt.
