Chiphersteller Nvidia und Groq eingegeben letzte Woche eine nicht-exklusive Technologie-Lizenzvereinbarung, um die Ausführung vorab trainierter großer Sprachmodelle mithilfe der Sprachverarbeitungseinheitschips von Groq zu beschleunigen und die Kosten zu senken. Die Chips der Sprachverarbeitungseinheit von Groq ermöglichen Chatbot-Abfragen in Echtzeit während der Inferenzphase von KI-Operationen, anders als im Modelltrainingsprozess. Diese Chips ermöglichen es KI-Modellen, in Anwendungen wie Chatbots schnell Antworten zu generieren. Die Chips von Nvidia übernehmen derzeit branchenweit einen Großteil der KI-Trainingsphase. Inferenz stellt einen Engpass dar, den Nvidia nicht vollständig kontrollieren kann. Die Chips von Groq zielen speziell auf diese Inferenzphase ab, in der KI-Modelle das aus dem Training gewonnene Wissen anwenden, um Ergebnisse auf neuen Daten zu erzielen. Groq entwickelt seine Chips für Inferenz, um KI-Modelle von Laborexperimenten in die praktische Anwendung zu überführen. Die Inferenz erfolgt nach dem Training, wenn Modelle unsichtbare Eingaben verarbeiten, um in realen Szenarien Ergebnisse zu liefern. Investoren leiten Gelder an Inferenz-Startups, um die KI-Forschung mit groß angelegten Alltagsanwendungen zu verbinden. Axios-Reporter Chris Metinko berichtete Anfang des Jahres über diesen Investitionstrend. Verbesserte Inferenzfähigkeiten ermöglichen es Unternehmen, zusätzliche Unternehmens-KI-Projekte in größerem Maßstab durchzuführen. Diese Initiativen erhöhen die Nachfrage nach Trainingsprozessen, was wiederum den Bedarf an Nvidias Trainingschips erhöht. KI-Modelle funktionieren in zwei Phasen: Training und Inferenz. Während des Trainings verarbeiten Modelle umfangreiche Datensätze, darunter Text, Bilder und Videos, um interne Wissensdarstellungen zu erstellen. In der Inferenzphase identifizieren Modelle Muster in bisher nicht sichtbaren Daten und produzieren auf der Grundlage dieser Muster Antworten auf spezifische Eingabeaufforderungen. Dieser Prozess ähnelt einem Studenten, der den Stoff für eine Prüfung studiert und dieses Wissen dann während der Prüfung anwendet. Groq entstand im Jahr 2016 unter der Gründungsleitung von Jonathan Ross. Das Unternehmen steht in keiner Beziehung zu Elon Musks xAI-Chatbot namens Grok. Jonathan Ross, Groq-Präsident Sunny Madra und ausgewählte andere Mitarbeiter planen, zu Nvidia zu wechseln, wie auf berichtet Groqs Website. Groq beabsichtigt, nach diesen Übergängen den unabhängigen Betrieb aufrechtzuerhalten. Bei der Vereinbarung handelt es sich um eine „nicht-exklusive Lizenzvereinbarung für Inferenztechnologie“. Diese Vereinbarung ähnelt einem Erwerb oder Acquihire. Stacy Rasgon beschrieb die Struktur in einer Mitteilung an die Kunden als Aufrechterhaltung der Fiktion des Wettbewerbs CNBC. Unternehmen nutzen solche Vertragsstrukturen, um kartellrechtliche Prüfungen zu bewältigen und gleichzeitig spezialisiertes KI-Personal zu gewinnen.
- Microsoft-Beispiel: Mustafa Suleyman, Mitbegründer von DeepMind, wurde rekrutiert.
- Google-Beispiel: Noam Shazeer, Miterfinder der Transformer-Architektur, die für GPT-Modelle von zentraler Bedeutung ist, wurde erneut engagiert.
Jonathan Ross, der jetzt zu Nvidia wechselt, hat zuvor Googles Tensor Processing Unit, bekannt als TPU, entwickelt. Die Bereitstellungskosten bestimmen den Umfang, in dem Unternehmen Modelle nutzen, die im Rahmen vorheriger Schulungsbemühungen entwickelt wurden.
