Amer S und Ryan McKenna von Google Research kündigten Vaultgemma am 12. September 2025 an, als das fähigste Sprachmodell, das von Grund auf mit unterschiedlichen Privatsphäre trainiert wurde. Dieses offene Modell von 1 Milliarden Parametern befasst sich mit den Datenschutzherausforderungen im KI-Training durch Einbeziehung kalibrierter Rauschen, während ein neues Forschungsarbeiten Skalierungsgesetze für Kompromisse für die Berechnung der Privaten-Utilität beschreibt. Differentiale Privatsphäre fügt während des Trainings kalibriertes Rauschen hinzu, um das Auswendiglernen einzelner Datenpunkte zu verhindern und sicherzustellen, dass die Ausgaben des Modells statistisch ähnlich bleiben, ob ein einzelnes Trainingsbeispiel enthalten ist oder nicht. Dieser Ansatz bietet einen mathematisch strengen Framework zum Schutz der Benutzerdaten in großen Sprachmodellen. Durch die Implementierung der unterschiedlichen Datenschutz im Sprachmodell wird jedoch spezifische Herausforderungen eingeführt. Das Rauschen stört die traditionellen Skalierungsgesetze, in denen beschrieben wird, wie sich die Modellleistung mit zunehmender Modellgröße, Datenvolumen und Rechenressourcen verbessert. Insbesondere reduziert das Rauschen die Trainingsstabilität und macht es dem Modell schwieriger, konsequent zu lernen, ohne Probleme wie plötzliche Spitzen bei Verlust oder vollständige Divergenz während der Optimierung zu begegnen. Um dieser Instabilität entgegenzuwirken, müssen die Praktiker erheblich größere Chargengrößen verwenden, was wiederum mehr Rechenleistung und Speicher fordert und die Gesamtkosten des Trainings erhöht. Das Forschungspapier mit dem Titel „Skalierungsgesetze für differentiell private Sprachmodelle“, die in Zusammenarbeit mit Google DeepMind entwickelt wurden, legt Gleichungen fest, die diese Kompromisse für die Verbesserung der Privfizitäts-Utilität für differentiell private Großsprachenmodelle genau modellieren. Diese Gleichungen erfassen die komplizierten Beziehungen zwischen der Menge der Berechnung, der erreichten Datenschutzebene und dem resultierenden Modellnutzen und bieten ein Vorhersagewerkzeug zur Optimierung der Trainingskonfigurationen. Die Entwicklung des Papiers umfasste umfangreiche Analysen, um zu quantifizieren, wie unterschiedliche Privatsphäre die Dynamik des Modelltrainings im Vergleich zu nicht privaten Methoden verändert. Durch die Ableitung dieser Gesetze bilden die Autoren eine Grundlage für die Gestaltung effizienter privater Modelle, sodass Forscher die Leistung ohne erschöpfende Experimente prognostizieren können. Das Team wurde von den Erkenntnissen dieser Skalierungsgesetze geleitet und baute Vaultgemma als 1-Milliarden-Parameter-Modell basierend auf der Gemma 2-Architektur aus, die unter unterschiedlichen Datenschutzbeschränkungen vollständig von Grund auf neu trainiert wurde. Die Gewichte des Modells sind jetzt öffentlich auf Plattformen wie Umarmung und Kaggle verfügbar, begleitet von einem detaillierten technischen Bericht, der den Schulungsprozess, die Hyperparameter und die Bewertungsergebnisse erklärt. Diese Veröffentlichung ist das bisher größte solcher offenes Modell, das es Entwicklern und Forschern weltweit ermöglicht, auf ein differentiell privates Sprachmodell von Produktionsqualität zuzugreifen und aufzubauen. Die Gemma -Serie selbst betont Verantwortung und Sicherheit in der KI -Entwicklung, die sich gut an die Ziele der Einbeziehung des Schutzes des Datenschutzes von Anfang an entspricht. Die experimentelle Methodik in der Forschung konzentrierte sich auf die Quantifizierung der Auswirkungen unterschiedlicher Modellgrößen, Stapelgrößen und Schulungsiterationen innerhalb des differentialen Datenschutzrahmens. Um die große Anzahl möglicher Kombinationen zu verwalten, machten die Autoren die Vereinfachung der Annahmen und zentrierten ihre Analyse auf das Rausch-Batch-Verhältnis. Dieses Verhältnis misst die relative Skala des Datenschutzgeräusches gegen die beim stochastische Gradientenabstieg verwendete Chargengröße. Die Annahme gilt, weil das absichtliche Rauschen, das für die Privatsphäre hinzugefügt wird, über jede inhärente Zufälligkeit durch Datenprobenahme dominiert, sodass die Lernwirksamkeit des Modells hauptsächlich durch diese einzelne Metrik bestimmt wird. Durch diese Linse ermöglichte die Methodik eine systematische Bewertung der Auswirkungen der Anpassungen in diesen Parametern die Gesamtleistung. Umfassende Experimente bewerteten die Modellleistung in verschiedenen Modellgrößen und Rausch-Batch-Verhältnissen und generieren empirische Daten, die in Kombination mit deterministischen Beziehungen zwischen Variablen wie dem Budget des Rechenbudgets und des Datenbudgets gezielte Abfragen unterstützen. Beispielsweise können die Skalierungsgesetze das optimale Schulungsaufbau festlegen, um den Verlust angesichts fester Berechnung, Datenschutz und Datenbudgets zu minimieren. Der vorhergesagte Verlust wird unter Verwendung der Modellgröße, der Anzahl der Iterationen und des Rauschverhältnisses modelliert, was die Navigation komplexer Wechselwirkungen zwischen den Budgets vereinfacht. Diese Struktur bietet Praktikern einen klaren Weg, um Ressourcen während des privaten Modelltrainings effektiv auszugleichen. Aus Sicht des Datenschutzbilanzs zeigt die Dynamik zwischen dem Rechenbudget, dem Datenschutzbudget und dem Datenbudget wichtige Interaktionen für eine feste Modellgröße und Iterationszahl. Das Erhöhen des durch den Parameter ε gekennzeichneten Datenschutzbudgets reduziert den Rauschpegel, liefert jedoch eine abnehmende Renditen, wenn sie nicht mit Expansionen in den Berechnung oder Datenbudgets gepaart werden. Insbesondere verbessert sich das Rausch-Batch-Verhältnis ohne entsprechende Anstieg der Floating-Point-Operationen (FLOPs) oder Tokens, die nur geringfügig die Nützlichkeitsgewinne einschränken. Diese Synergie unterstreicht die Notwendigkeit einer koordinierten Skalierung: Die Verbesserung der Privatsphäre allein senkt das effektive Rauschen nicht ausreichend, es sei denn, es wird durch weitere Rechenressourcen oder zusätzliche Schulungsdaten unterstützt. Visualisierungen in der Forschung veranschaulichen, wie sich optimale Konfigurationen mit sich ändernden Budgets verändern. Da die Privatsphäre und die Berechnung von Einschränkungen variieren, bewegt sich die bevorzugte Zuordnung zwischen größeren Modellgrößen, erweiterten Chargengrößen oder zusätzlichen Iterationen. Beispielsweise erweist sich bei strengeren Datenschutzbudgets die Priorisierung größerer Chargen häufig als effektiver als die Skalierung der Modellgröße, da sie die Rauschauswirkungen direkt mindert. Diese Diagramme beschreiben den minimal erreichbaren Verlust für verschiedene Budgetkombinationen sowie die Aufschlüsse von Hyperparametern wie Iterationen, Chargengröße und Modellabmessungen. Eine solche Granularität hilft dabei, nicht nur das beste Setup zu identifizieren, sondern auch die Bereiche für lebensfähige Alternativen, die vergleichbare Nutzung liefern und Flexibilität in ressourcenbeschränkten Umgebungen bieten. Ein zentraler Einblick in die Skalierungsgesetze ist die Empfehlung, kleinere Modelle mit wesentlich größeren Chargengrößen im Vergleich zu nicht privaten Szenarien zu schulen. Dieser Ansatz nutzt die Bedeutung übergroßer Chargen für die stabilisierende differentielle private stochastische Gradientenabstufung (DP-SGD), eine gemeinsame Optimierungsmethode in diesem Bereich. Die Einsicht gilt im Großen und Ganzen für verschiedene Einstellungen, obwohl die exakte Optima basierend auf spezifischen Datenschutz- und Datenbudgets anpasst. Das Verständnis dieser Kompromisse gewährleistet die effiziente Verwendung von Rechen- und Datenschutzzuweisungen und verhindert verschwenderische Konfigurationen. Die Analyse zeigt auch die Flexibilität bei der Auswahl, bei denen mehrere Modellgrößen ähnliche Verluste erreichen können, wenn sie mit geeigneten Iterationen und Stapelanpassungen übereinstimmen. Um Vaultgemma zu konstruieren, wandte das Team die Skalierungsgesetze an, um die gesamten Flops zu berechnen, die für ein von Gemma abgeleiteter rechenoptimaler 1-Milliarden-Parameter-Modell erforderlich sind Dieser Allokationsprozess umfasste iterative Simulationen unter Verwendung der Vorhersagegleichungen, um verschiedene Verteilungen zu testen, um sicherzustellen, dass das endgültige Setup mit dem niedrigsten projizierten Verlust ausgerichtet ist. Die resultierende Konfiguration sorgte für die Notwendigkeit einer Rauschminderung durch große Stapel mit ausreichenden Iterationen, um effektiv zu konvergieren, während sie sich an der Anzahl der Zielparameter festhalten. Eine bemerkenswerte Herausforderung bei der Überbrückung der Skalierungsrechtsforschung zur tatsächlichen Ausbildung war die Behandlung von Poisson-Stichproben, ein Schlüsselelement von DP-SGD, das durch randomisierte Datenauswahl robuste Datenschutzgarantien gewährleistet. Zunächst lud das Team Daten in einheitlichen Stapeln, diese Methode bot jedoch einen suboptimalen Datenschutzschutz aufgrund höherer effektiver Rauschen. Umschalten auf Poisson -Stichproben verbesserte Garantien, führte jedoch eine Variabilität ein: Stapel variierten in der Größe, und die Datenverarbeitung erforderte eine randomisierte Reihenfolge. Um diese Probleme zu lösen, übernahmen sie Techniken aus jüngsten Arbeiten zu skalierbarem DP-SGD, die Daten in festen Größen verarbeitet, indem sie kürzere Polster haben oder längere Trimmen haben. Diese Anpassung bewahrt die Datenschutzvorteile der Poisson -Probenahme, ohne die Effizienz der Trainingspipeline zu stören. Die Ausbildung von Vaultgemma bestätigte die Genauigkeit der Skalierungsgesetze, wobei der endgültige Schulungsverlust eng an Vorhersagen aus den Gleichungen übereinstimmte. Diese Validierung zeigt die Zuverlässigkeit des Rahmens für die Prognoseergebnisse in der privaten Modellentwicklung und bietet einen zuverlässigen Leitfaden für zukünftige Bemühungen. Der Prozess umfasste die Überwachung von Verlustkurven während des gesamten Trainings, um die Stabilität zu gewährleisten, Hyperparameter nach Bedarf innerhalb des vordefinierten Budgets anzupassen und zu überprüfen, ob das Rausch-Batch-Verhältnis optimal blieb. Eine solche enge Korrespondenz zwischen Theorie und Praxis verstärkt den Nutzen der Gesetze in praktischen Anwendungen. Bei Leistungsbewertungen erreicht Vaultgemma 1b mit unterschiedlicher Privatsphäre den Nutzniveaus, der mit dem nicht privaten GEMMA3 1B und dem GPT-2 1.5B-Modell vergleichbar ist. Diese Vergleiche quantifizieren die Ressourcenanforderungen des Datenschutzgebiets und zeigen, dass aktuelle Methoden Modelle produzieren, die nicht mit nicht privaten Architekturen ab ungefähr fünf Jahren vorhanden sind. Die Bewertungen umfassten Verwirrigkeitsmetriken für Hold-Out-Daten, bei denen die Ergebnisse von Vaultgemma trotz des zusätzlichen Rauschens das effektive Lernen widerspiegeln, wodurch Fortschritte bei der Schließung der Versorgungslücke durch optimierte Skalierung hervorgehoben werden. Nachgeschaltete Bewertungen an Standard -Benchmarks bestätigen die Funktionen von Vaultgemma weiter. Auf Hellaswag tritt das Modell auf Ebenen durch, die dem nicht privaten Gegenstück entsprechen und eine starke gesunden Menschenverstand aufweisen. Boolq -Ergebnisse zeigen eine zuverlässige Frage, die auf booleschen Abfragen beantwortet wird, während PIQA Kompetenz zu Vorhersagen der physikalischen Interaktion aufweist. SocialIQA-Bewertungen zeigen ein solides Verständnis der sozialen Normen, Triviaqa bestätigt die Kenntnis bei der Aufbewahrung von Tatsachen, ARC-C behandelt komplexe Argumentationsherausforderungen und befasst sich effektiv auf einfache wissenschaftliche Fragen. Das Einbeziehen von GPT-2 1,5B in diesen Vergleiche unterstreicht, dass die Benchmark-Werte von Vaultgemma mit älteren nicht privaten Modellen ähnlicher Skala übereinstimmen und den Stand der privaten Schulungsergebnisse veranschaulichen. Vaultgemma bietet eine formale Differentialschutzgarantie auf Sequenzebene von ε ≤ 2,0 und δ ≤ 1,1 × 10⁻¹⁰ für Sequenzen von 1024 Tokens aus heterogenen Datenquellen. Die Trainingsmischung spiegelt die von Gemma 2 wider, die Dokumente mit unterschiedlichen Längen umfasst, die durch Aufspalten langer in mehrere Sequenzen und kurze Verpackung zusammengezogen werden. Diese Einheit auf Sequenzebene passt zum Datenformat, obwohl die Privatsphäre auf Benutzerebene vorzuziehen wäre, wenn Daten direkt mit Einzelpersonen verbunden sind. In der Praxis stellt diese Garantie sicher, dass die Antworten des Modells auf Abfragen statistisch nicht zu unterscheiden sind, ob eine bestimmte Sequenz in das Training einbezogen wird oder nicht, und verhindern, dass das Modell isolierte Tatsachen innerhalb einer einzelnen Sequenz lernt. Fakten, die über mehrere Sequenzen hinweg erscheinen, können jedoch weiterhin gelernt werden, sodass der allgemeine Wissenserwerb ohne die individuelle Privatsphäre beeinträchtigt wird. Durch die Ergänzung zu den theoretischen Garantien wurden empirische Tests bewertet, die das Auswendiglernen Risiken bewerteten, indem sie Vaultgemma mit 50-feindlichen Präfixen aus Trainingsdokumenten und Überprüfung der Reproduktion der nachfolgenden 50 Token beantragte. Das Modell zeigte kein nachweisbares Auswendiglernen und erzeugte nicht verwandte Kontinuationen, die nicht mit den ursprünglichen Suffixen übereinstimmten. Dieses Ergebnis überprüft die praktische Wirksamkeit der unterschiedlichen Privatsphäre bei der Unterdrückung des wörtlichen Rückrufs auch bei potenziell empfindlichen Trainingsauszügen. Das Testprotokoll umfasste die Auswahl verschiedener Präfixe aus verschiedenen Datenquellen, um eine breite Stichprobe abzudecken, um eine umfassende Abdeckung potenzieller Schwachstellen zu gewährleisten. Die Anerkennung für das Projekt erstreckt sich auf die Gemma- und Google -Datenschutzteams, wobei Peter Kairouz, Brendan McMahan und Dan Ramage für Feedback zu der Ankündigung spezifisch sind. Mark Simborg und Kimberly Schwede halfen bei Visualisierungen, während breitere Google -Teams Algorithmus -Design, Infrastruktur und Produktionswartung unterstützten. Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi, Thomas Mesnard, Andreas Terzis, Tris Warkentin, da Yu und Chiyuan Zhang.
