Der wissenschaftliche Berater des Weißen Hauses, Michael Kratsios, behauptete, dass Moonshot, ein chinesisches Unternehmen, das Fable Large Language Model (LLM) von Anthropic kopiert habe, um den Kimi K3 zu entwickeln, das derzeit größte offene Modell. Kratsios erklärte, dass das Modell von Moonshot Chips verwendet habe, die nicht für den Export nach China zugelassen seien, und fügte hinzu, dass die verdeckte industrielle Destillation mit dem Ziel, US-Technologie zu stehlen, „inakzeptabel“ sei. Er verwies auf die anhaltenden Diskussionen über ein mögliches Verbot chinesischer Open-Weight-Modelle, die im KI-Sektor umstritten seien.
Finanzminister Scott Bessent wiederholte die Kommentare von Kratsios und enthüllte, dass in vielen chinesischen Modellen große US-amerikanische Sprachmodelle entdeckt wurden, die er ebenfalls als „inakzeptabel“ bezeichnete. Das Finanzministerium hat die genaue Art der in diesen Modellen gefundenen Wasserzeichen nicht geklärt. Experten äußerten jedoch Skepsis darüber, ob die Destillation allein die erweiterten Fähigkeiten von Kimi K3 erklären könnte, insbesondere angesichts des Veröffentlichungsdatums von Fable am 1. Juli.
Braden Hancock, Forscher am Laude Institute, wies darauf hin, dass es unplausibel sei, in so kurzer Zeit ein Modell mit der Stärke von Kimi K3 zu entwickeln, bei dem nur Destillationstechniken zum Einsatz kommen. Er erklärte: „Man kann nicht so viele Daten destillieren, ein Modell trainieren und es in zwei Wochen veröffentlichen.“ Nathan Lambert vom Allen Institute for AI bemerkte die abnehmende Wirksamkeit der Destillation im Laufe der Zeit und argumentierte, dass fortgeschrittene Methoden wie Reinforcement Learning notwendig sein könnten, damit solche Modelle ihre Fähigkeiten erreichen.
Der Destillationsprozess beinhaltet die systematische Abfrage eines LLM, um seine Funktionalitäten zu replizieren. Dieser Prozess könnte Supervised Fine-Tuning (SFT) umfassen, bei dem das Zielmodell ein neues Modell trainiert, indem es dessen Verhalten emuliert. Lambert schätzte ein, dass SFT zwar Vorteile bietet, diese jedoch mit zunehmender Modellkomplexität abnehmen. Um die Fähigkeiten von Fable zu reproduzieren, ist möglicherweise verstärktes Lernen erforderlich, was ressourcenintensiv sein kann und möglicherweise keine überlegene Leistung garantiert.
In der KI-Branche besteht ein anhaltender Konflikt hinsichtlich der Destillationspraktiken. Anthropic hatte Moonshot zuvor vorgeworfen, systematisch Daten aus seinen Modellen zu extrahieren, und dabei auf Millionen verdächtiger Börsen verwiesen, die über IP-Adressen überwacht werden. Elon Musk sagte aus, dass sein Unternehmen SpaceXAI bei der Entwicklung von Grok auch Destillationstechniken auf OpenAI-Modellen eingesetzt habe, was zeigt, wie verbreitet diese Praxis in der gesamten Branche ist.
Hancock betonte, dass die amerikanische Wahrnehmung die technischen Fähigkeiten chinesischer KI-Teams herunterspielen könnte, und bezog sich dabei auf den Mitbegründer von Moonshot, einen Doktoranden der Carnegie Mellon University. Moonshot nutzte angeblich verbotene Nvidia-Chips, während es auf mit GB300 ausgestattete Server in Thailand zugriff, um Kimi K3 zu entwickeln. Sam Bresnick, wissenschaftlicher Mitarbeiter am Georgetown Center for Security and Emerging Technology, stellte fest, dass es einen Schwarzmarkt für solche Chips gibt, deren Export nach China weiterhin verboten ist. Bei den Bemühungen, Vorschriften für die Verwendung dieser fortschrittlichen Chips durchzusetzen, sind noch keine nennenswerten Fortschritte zu verzeichnen.
Das Handelsministerium von Präsident Biden schlug Regeln für Rechenzentren vor, um im Jahr 2024 Maßnahmen zur Kundenidentifizierung einzuführen. Allerdings gab es in diesem Bereich während der vorherigen Regierung keine nennenswerten Entwicklungen, und Exporteure müssen sicherstellen, dass ihre fortschrittlichen Chips für legitime Anwendungen verwendet werden.
