Warum kleine KI -Modelle nicht mit großen Schritt halten können

Der Aufstieg großer Sprachmodelle (LLMs) war geradezu transformativ. Diese KI -Systeme zeichnen sich in komplexem Denken aus und zerlegen Probleme in strukturierte, logische Schritte, die als bekannt sind Denkweise der Kette (Kinderbett). Wenn die KI -Forschung jedoch auf Effizienz drängt, stellt sich jedoch eine Schlüsselfrage: Können kleinere Modelle diese fortschrittlichen Argumentationsfunktionen durch Destillation aus größeren Modellen erben?

Ein neues Studie Von Yuetai Li, Xiang Yue, Zhangchen Xu, Fengqing Jiang, Luyao Niu, Bill Yuchen Lin, Bhaskar Ramasubramanian und Radha Poovendran von der University of Washington, der Carnegie Mellon University und der westlichen Washington University schlägt vor, dass die Antwort eher komplizierter als der geprüfte Gedanke ist. In der Studie genannt „Kleine Modelle kämpfen darum, aus starken Distriktern zu lernen“Die Forscher haben identifiziert, was sie als nennen Kleiner Modelllernfähigkeitslücke– Ein Phänomen, bei dem kleine Modelle (≤ 3B -Parameter) Schwierigkeiten haben, vom komplizierten Denken ihrer größeren Gegenstücke zu profitieren. Stattdessen funktionieren diese Modelle besser, wenn sie darauf trainiert werden Kürzere, einfachere Argumentationsschritte oder aus anderen destilliert Kleine Modelle.

Diese Feststellung stellt die konventionelle Überzeugung in Frage, dass Größer ist immer besser Wenn es um KI -Wissenstransfer geht. Die Studie schlägt auch a vor neuer Ansatz zur AI -Destillation– Eines, das die Komplexität der Argumentation mischt, um kleineren Modellen effektiver zu lernen.

Warum kleine KI -Modelle mit komplexem Denken zu kämpfen haben

Llms wie GPT-4O, Claude 3 Opus und Gemini werden auf massiven Datensätzen geschult und optimiert, um komplizierte Argumentationsketten zu verarbeiten. Ihre Schritt-für-Schritt-Erklärungen verbessern die Genauigkeit der Problemlösung in Bereichen wie Mathematik, logische Inferenz und strukturierte Entscheidungsfindung.

Natürlich haben KI -Forscher versucht „schrumpfen“ Diese Intelligenz in kleinere Modelle-finanzieren Sie sie mit Ausgaben aus größeren Modellen. Die Idee ist unkompliziert: trainieren Sie ein kleineres Modell ein lange, detaillierte Argumentationsspuren Erzeugt durch eine größere KI, in der Hoffnung, dass sie die gleiche strukturierte Logik absorbiert.

Aber die Studie findet diesen Ansatz Oft schließt sich nach hinten.

• Kleine Modelle verinnerlichen keine langen Argumentationsschritte: Beim Training auf lange und komplizierte Erklärungenkleinere Modelle haben Schwierigkeiten, sich zu verallgemeinern, was zu Leistungsabfällen führt.
• Sie lernen besser aus einfacheren Argumentationsketten: Training kleine Modelle auf Kürzere, prägnantere Argumentationssequenzen verbessert ihre Fähigkeit, logische Schritte zu verarbeiten.
• Größer ist nicht immer besser für das Unterrichten von KI: Große mit Modell erstellte Argumentationsketten verbessern nicht immer die Argumentation kleinerer Modelle-manchmal behindern sie es.

Dieser Effekt ist besonders deutlich in Aufgaben im Zusammenhang mit Mathematikwo strukturierte Problemlösung eine entscheidende Rolle spielt. Das Forschungsteam bewertete kleine Modelle in verschiedenen Benchmarks, einschließlich Mathematik, GSM8K, Aime, AMC und Olympiadbenchund festzustellen, dass eine komplexe Argumentation Destillation häufig zu einer verminderten Leistung führte.

Die Fix: Destillation mischen

Um dies anzugehen Engpass lernendie Forscher schlagen a vor Destillation mischen Ansatz. Anstatt ausschließlich kleine Modelle für lange COT -Sequenzen zu trainieren oder aus großen Modellen zu destillieren, ist diese Methode gleicht die Komplexität der Argumentation aus Durch Kombination mehrerer Argumentationsstile.

Ihre Strategie besteht aus zwei Konfigurationen:

1. Mix-Long: Eine Kombination von kurze und lange ArgumentationskettenSicherstellen, dass kleine Modelle sowohl detaillierte als auch vereinfachte Logik ausgesetzt sind.
2. Mischen: Eine Mischung von Argumentationschritten von große und kleine ModelleOptimierung des Wissenstransfers, ohne die kleineren Modelle zu überwältigen.

Experimente zeigen das Destillation mischen, verbessert die Argumentation des kleinen Modells erheblich Im Vergleich zum Training über Single-Source-Daten.

Zum Beispiel:

• Qwen2.5-3b-Instruktur verbessert durch 8+ Punkte in Mathematik und AMC -Benchmarks verwenden Mix-Longim Vergleich zum Training nur an langen COT -Daten.
• Das gleiche Modell gewann 7+ Punkte Verwendung Mischenim Vergleich zur direkten Destillation aus einem großen Lehrermodell.

Das Mitnehmen? Kleine Modelle müssen keine wörtlichen Modelle nachahmen – sie brauchen eine sorgfältig kuratierte Mischung aus der Komplexität von Argumentation.

Ausgewähltes Bildnachweis: Kerem Gülen/Midjourney