Laut Andrew Heiss, einem Assistenzprofessor an der Andrew Young School of Policy Studies der Georgia State University, verzeichnen akademische Institutionen eine Zunahme von KI-generierten Zitaten nicht vorhandener Artikel in wissenschaftlichen Veröffentlichungen, was die Legitimität der Forschung untergräbt. Heiss entdeckte, dass große Sprachmodelle (LLMs) erfundene Zitate generieren, die anschließend in der Fachwissenschaft auftauchen. Bei der Suche nach gefälschten Quellen in Google Scholar bemerkte Heiss Dutzende veröffentlichter Artikel, in denen Variationen dieser nicht existierenden Studien und Zeitschriften zitiert wurden. Im Gegensatz zu KI-generierten Artikeln, die oft schnell zurückgezogen werden, werden diese halluzinierten Zeitschriftenausgaben in anderen zitiert Papierewodurch fehlerhafte Informationen effektiv legitimiert werden. Dieser Prozess führt dazu, dass Studierende und Akademiker diese „Quellen“ als zuverlässig akzeptieren, ohne ihre Authentizität zu überprüfen, wodurch die Illusion der Glaubwürdigkeit durch wiederholte Zitierungen verstärkt wird. Forschungsbibliothekare geben an, bis zu 15 % ihrer Arbeitszeit damit zu verbringen, auf Anfragen nach nicht vorhandenen Datensätzen zu antworten, die von LLMs wie ChatGPT oder Google Gemini generiert wurden. Heiss notiert dass KI-generierte Zitate oft überzeugend wirken, da sie Namen lebender Akademiker enthalten und Titel vorhandener Literatur ähneln. In einigen Fällen bezogen sich die Zitate auf tatsächliche Autoren, enthielten jedoch erfundene Artikelüberschriften und Zeitschriftentitel, die frühere Arbeiten des Autors oder echte Zeitschriften nachahmten. Wissenschaftler, darunter die Psychologin Iris van Rooij, haben davor gewarnt, dass das Aufkommen von KI-„Schwächen“ in wissenschaftlichen Ressourcen das gefährdet, was sie als „Wissenszerstörung“ bezeichnete. Im Juli unterzeichneten van Rooij und andere einen offener Brief Wir plädieren dafür, dass Universitäten Hochschulbildung, kritisches Denken, Fachwissen, akademische Freiheit und wissenschaftliche Integrität schützen, und fordern eine gründliche Analyse der Rolle von KI in der Bildung. Der Software-Ingenieur Anthony Moser prognostizierte im Jahr 2023, dass Chatbots dazu führen könnten, dass Lehrer Lehrpläne mit nicht vorhandenen Lektüren erstellen und Schüler sich beim Zusammenfassen oder Schreiben von Aufsätzen auf KI verlassen – ein Szenario, das seiner Meinung nach nun eingetreten ist. Moser argumentiert, dass die Beschreibung von LLM-Ergebnissen als „Halluzinationen“ ihre Funktion falsch darstellt, und erklärt, dass Vorhersagemodelle „immer halluzinieren“ und „strukturell gleichgültig gegenüber der Wahrheit“ seien. Er sagte, LLMs verschmutzen das vorgelagerte Informationsökosystem, da nicht vorhandene Zitate in die Forschung eindringen und in nachfolgenden Veröffentlichungen kursieren, was sie mit langlebigen Chemikalien vergleicht, die schwer zurückzuverfolgen oder zu filtern sind. Moser führt das Problem auf „bewusste Entscheidungen“ zurück und behauptet, Einwände seien „ignoriert oder außer Kraft gesetzt“ worden. Er räumt ein, dass „schlechte Forschung nichts Neues ist“, gibt jedoch an, dass LLMs den bereits bestehenden Druck zur Veröffentlichung und Produktion verstärkt haben, was zu Veröffentlichungen mit fragwürdigen Daten geführt habe. Craig Callender, Philosophieprofessor an der University of California San Diego und Präsident der Philosophy of Science Association, stimmt dem zu und stellt fest, dass „der Schein der Legitimität nicht existierender Zeitschriften wie das logische Endprodukt bestehender Trends ist“. Callender weist darauf hin, dass es Zeitschriften gibt, die gefälschte Artikel aus Profitgründen oder voreingenommener Forschung akzeptieren, was zu einem wachsenden „Sumpf“ im wissenschaftlichen Publizieren führt. Er schlägt vor, dass KI dieses Problem verschärft, da KI-gestützte Google-Suchen möglicherweise die wahrgenommene Existenz dieser gefälschten Zeitschriften verstärken und Desinformation verbreiten. Forscher berichten von einer weit verbreiteten Entmutigung, da gefälschte Inhalte in öffentlichen Forschungsdatenbanken verankert werden, was es schwierig macht, den Ursprung der Behauptungen zurückzuverfolgen.
