Sony AI hat den Fair Human-Centric Image Benchmark (FHIBE) veröffentlicht, den ersten öffentlich zugänglichen, weltweit vielfältigen, einwilligungsbasierten Datensatz menschlicher Bilder, der zur Bewertung von Vorurteilen bei Computer-Vision-Aufgaben entwickelt wurde. Dieses Tool bewertet, wie KI-Modelle Menschen verschiedener demografischer Gruppen behandeln, und begegnet ethischen Herausforderungen in der KI-Branche durch die einvernehmliche Bildsammlung verschiedener Teilnehmer. Der Datensatz, der wie „Phoebe“ ausgesprochen wird, enthält Bilder von fast 2.000 zahlenden Teilnehmern aus über 80 Ländern. Jede einzelne Person gab ihre ausdrückliche Einwilligung zur Weitergabe ihres Bildnisses. Damit unterscheidet sich FHIBE von gängigen Praktiken, bei denen große Mengen an Webdaten ohne Erlaubnis ausgewertet werden. Die Teilnehmer behalten sich das Recht vor, ihre Bilder jederzeit zu entfernen, um eine kontinuierliche Kontrolle über ihre persönlichen Daten zu gewährleisten. Dieser Ansatz unterstreicht das Engagement von Sony AI für ethische Standards bei der Datenerfassung. Jedes Foto im Datensatz enthält detaillierte Anmerkungen. Diese umfassen demografische und körperliche Merkmale wie Alter, Geschlechtspronomen, Abstammung und Hautfarbe. Auch Umweltfaktoren wie Lichtverhältnisse und Hintergründe werden berücksichtigt. Kameraeinstellungen wie Brennweite und Belichtung bieten zusätzlichen Kontext für Modellbewertungen. Eine solche umfassende Kennzeichnung ermöglicht eine präzise Analyse, wie externe Variablen die KI-Leistung beeinflussen. Tests mit FHIBE bestätigten zuvor dokumentierte Verzerrungen in bestehenden KI-Modellen. Der Benchmark geht noch einen Schritt weiter und bietet detaillierte Diagnosen der beitragenden Faktoren. Beispielsweise zeigten Modelle eine geringere Genauigkeit für Personen, die „she/her/hers“-Pronomen verwendeten. FHIBE identifizierte eine größere Frisurenvariabilität als ein wichtiges, bisher übersehenes Element hinter dieser Diskrepanz und ermöglichte es den Forschern, bestimmte Bereiche für Verbesserungen beim Modelltraining zu ermitteln. Bei der Bewertung neutraler Fragen zum Beruf eines Probanden verstärkten KI-Modelle Stereotypen. Der Benchmark ergab Abweichungen gegenüber bestimmten Pronomen- und Abstammungsgruppen, wobei die Ergebnisse Personen als Sexarbeiterinnen, Drogendealer oder Diebe bezeichneten. Dieses Muster verdeutlicht, dass unvoreingenommene Eingabeaufforderungen immer noch zu diskriminierenden Ergebnissen aufgrund demografischer Merkmale führen können. Auf die Frage nach möglichen von Einzelpersonen begangenen Straftaten lösten die Modelle bei bestimmten Gruppen häufiger toxische Reaktionen aus. Dazu gehörten Menschen afrikanischer oder asiatischer Abstammung, Menschen mit dunklerer Hautfarbe und Personen, die sich als „er/ihn/sein“ identifizierten. Solche Erkenntnisse decken Schwachstellen in KI-Systemen auf, die durch voreingenommene Ergebnisse den Schaden aufrechterhalten könnten. Sony AI gibt an, dass FHIBE zeigt, dass eine ethische, vielfältige und faire Datenerfassung möglich ist. Das Tool steht Forschern und Entwicklern jetzt öffentlich zur Verfügung und kann für Bias-Tests verwendet werden. Sony plant, den Datensatz im Laufe der Zeit zu aktualisieren, um neue Bilder und Anmerkungen aufzunehmen. Ein Forschungsbericht, der diese Ergebnisse detailliert beschreibt, erschien in Natur am Mittwoch.
