Googles Threat Intelligence Group (GTIG) hat identifiziert eine erhebliche Eskalation des böswilligen Einsatzes künstlicher Intelligenz. Angreifer nutzen KI nicht mehr nur für Produktivitätsaufgaben wie das Verfassen von Phishing-E-Mails; Sie setzen jetzt neuartige Malware ein, die während eines Angriffs aktiv KI nutzt, um ihr Verhalten dynamisch zu ändern. Diese neue Phase des KI-Missbrauchs beinhaltet das, was Google „Just-in-Time“-KI nennt. Zum ersten Mal hat GTIG Malware-Familien identifiziert, die während der Ausführung Large Language Models (LLMs) verwenden. Diese Tools können dynamisch bösartige Skripte generieren oder ihren eigenen Code im Handumdrehen verschleiern, um einer Erkennung zu entgehen, anstatt sich auf hartcodierte Funktionen zu verlassen. Der Bericht beschreibt mehrere neue Schadsoftware Familien, die diese Technik anwenden. „PROMPTSTEAL“, das im aktiven Betrieb beobachtet wurde, ist ein Data Miner, der eine Hugging Face API bei einem LLM abfragt, um Windows-Befehle zum Sammeln von Systeminformationen zu generieren. „QUIETVAULT“, das auch in freier Wildbahn zu sehen ist, ist ein Zugangsdatendiebstahler, der auf dem Rechner des Opfers installierte KI-CLI-Tools nutzt, um nach weiteren Geheimnissen zu suchen. Eine andere Malware, „FRUITSHELL“, enthält fest codierte Eingabeaufforderungen, die speziell dafür entwickelt wurden, die Analyse durch LLM-basierte Sicherheitssysteme zu umgehen. Google hat auch experimentelle Malware identifiziert, darunter „PROMPTFLUX“, ein Dropper, der die Google Gemini API nutzt, um seinen eigenen Quellcode wiederholt umzuschreiben, damit er verborgen bleibt, und „PROMPTLOCK“, eine Proof-of-Concept-Ransomware, die zur Laufzeit dynamisch bösartige Skripte generiert. Der GTIG-Bericht stellte außerdem fest, dass Bedrohungsakteure „Social-Engineering“-Techniken anwenden, um KI-Sicherheitsleitplanken zu umgehen. Google beobachtete Akteure, die sich als Studenten in einem „Capture-the-Flag“-Wettbewerb oder als Cybersicherheitsforscher ausgaben, um Gemini davon zu überzeugen, Informationen bereitzustellen, etwa Hilfe bei der Tool-Entwicklung, die andernfalls blockiert würden. Staatlich geförderte Akteure, darunter solche aus Nordkorea, dem Iran und der Volksrepublik China (VRC), nutzen weiterhin KI wie Gemini, um alle Phasen ihrer Operationen zu verbessern, von der Aufklärung und der Erstellung von Phishing-Ködern bis hin zur Entwicklung der Befehls- und Kontrollinfrastruktur (C2). Darüber hinaus stellt Google fest, dass der Untergrundmarkt für illegale KI-Tools im Jahr 2025 ausgereift ist und multifunktionale Tools anbietet, die die Eintrittsbarriere für weniger raffinierte Angreifer senken. Google gab an, dass es diese Aktivitäten aktiv stört, indem es mit diesen Akteuren verbundene Projekte und Konten deaktiviert. Das Unternehmen betonte, dass es seine Modelle, einschließlich Gemini, kontinuierlich verbessert, um sie weniger anfällig für Missbrauch zu machen, und nutzt die Erkenntnisse, um seine Sicherheitsklassifikatoren zu stärken.
