Databricks präsentiert DBRX, ein innovatives Open-Source-Sprachmodell, das das Sprachverständnis revolutionieren wird. DBRX basiert auf einer fortschrittlichen Architektur und zeigt bemerkenswerte Fortschritte bei Aufgaben wie dem Codieren und Lösen mathematischer Probleme. Da sie einige Modelle übertreffen, denken Sie, dass sie die besten auf dem LLM-Markt sind!
Aber was unterscheidet DBRX vom Rest? Lassen Sie uns tiefer in den Entwicklungsprozess eintauchen und die aufregenden Möglichkeiten erkunden, die es bietet.
Was ist DBRX?
DBRX ist ein von Databricks entwickeltes Open-Source-LLM (Large Language Model) mit dem Ziel, eine wettbewerbsfähige Alternative in der sich schnell entwickelnden Landschaft der künstlichen Intelligenz anzubieten. DBRX basiert auf einer feinkörnigen Expertenmix-Architektur (MoE) und weist bemerkenswerte Fortschritte beim Sprachverständnis auf, insbesondere bei Programmier- und mathematischen Denkaufgaben. Insbesondere übertrifft es einige etablierte Modelle wie GPT-3.5 und konkurriert einigermaßen mit geschlossenen Modellen wie Gemini 1.0 Pro.
| Modell | DBRX Anweisen |
GPT-3.5 | GPT-4 | Claude 3 Haiku | Claude 3 Sonett | Claude 3 Opus | Gemini 1.0 Pro | Gemini 1.5 Pro | Mistral Medium | Mistral Groß |
| MT-Bank (Beugung korrigiert, n=5) | 8,39 ± 0,08 | — | — | 8,41 ± 0,04 | 8,54 ± 0,09 | 9,03 ± 0,06 | 8,23 ± 0,08 | — | 8,05 ± 0,12 | 8,90 ± 0,06 |
| MMLU 5-Schuss | 73,7 % | 70,0 % | 86,4 % | 75,2 % | 79,0 % | 86,8 % | 71,8 % | 81,9 % | 75,3 % | 81,2 % |
| HellaSwag 10-Schuss | 89,0 % | 85,5 % | 95,3 % | 85,9 % | 89,0 % | 95,4 % | 84,7 % | 92,5 % | 88,0 % | 89,2 % |
| HumanEval 0-Schuss pass@1 (Programmierung) |
70,1 %
Temperatur=0, N=1 |
48,1 % | 67,0 % | 75,9 % | 73,0 % | 84,9 % | 67,7 % | 71,9 % | 38,4 % | 45,1 % |
| GSM8k CoT maj@1 | 72,8 % (5 Schuss) | 57,1 % (5 Schuss) | 92,0 % (5 Schuss) | 88,9 % | 92,3 % | 95,0 % | 86,5 %
(maj1@32) |
91,7 % (11 Schuss) | 66,7 % (5 Schuss) | 81,0 % (5 Schuss) |
| WinoGrande 5-Schuss | 81,8 % | 81,6 % | 87,5 % | — | — | — | — | — | 88,0 % | 86,7 % |
DBRX wurde in einem intensiven Prozess entwickelt, der sich über drei Monate erstreckte und auf monatelangen vorangegangenen Forschungen und Experimenten aufbaute. Das Training wurde auf einer leistungsstarken Infrastruktur bestehend aus 3072 durchgeführt NVIDIA H100Es ist über 3,2 Tbit/s Infiniband verbunden. Unter Nutzung der Tool-Suite von Databricks, darunter Unity Catalog für die Datenverwaltung, Lilac AI für die Datenexploration, Apache Spark- und Databricks-Notebooks für die Datenverarbeitung sowie optimierte Trainingsbibliotheken wie MegaBlocks und LLM Foundry, wurde DBRX über Tausende von Anwendungen trainiert und verfeinert GPUs, die den Mosaik-KI-Trainingsdienst nutzen. Die Ergebnisse wurden mit MLflow protokolliert und menschliches Feedback zur Qualitätsverbesserung durch Mosaik-KI-Modellbereitstellung und Inferenztabellen gesammelt.
Was kann DBRX also tun?? Es kann viele Dinge tun, wie zum Beispiel Fragen beantworten, Code schreiben, mathematische Probleme lösen und Daten analysieren. Es kann auch beim Schreiben helfen, indem es Grammatik korrigiert und Verbesserungen vorschlägt. DBRX kann verschiedene Sprachen verstehen und sogar Gefühle in Texten analysieren. Es ist wie ein intelligenter Assistent, der viele Aufgaben im Zusammenhang mit Sprache und Daten erledigen kann. Außerdem können Benutzer es an spezifische Bedürfnisse anpassen. DBRX könnte Sie mit seiner Leistung im Vergleich zu anderen beliebten Geräten überraschen LLMs.
DBRX ist für Entwickler und Unternehmen zugänglich und stellt sowohl das Basismodell als auch fein abgestimmte Versionen unter einer offenen Lizenz bereit und fördert so die gemeinsame Erkundung und Innovation. Sein Schwerpunkt auf Effizienz sowohl beim Training als auch bei der Inferenz sowie seine überschaubare Größe machen es zu einer potenziell kostengünstigen Lösung für verschiedene KI-Anwendungen.
So verwenden Sie DBRX
Die Nutzung von DBRX wird durch verschiedene von Databricks bereitgestellte Mittel ermöglicht:
- Foundation-Modell-APIs: Databricks-Angebote Foundation-Modell-APIs, die es Benutzern ermöglichen, über eine einfache Schnittstelle mit DBRX zu interagieren. Benutzer können diese APIs nutzen, um DBRX in ihre Anwendungen und Arbeitsabläufe zu integrieren.
- KI-Playground-Chat-Schnittstelle: Zum schnellen Experimentieren und Testen können Benutzer über das auf DBRX zugreifen KI-Spielplatz Chat-Schnittstelle. Diese Schnittstelle bietet eine benutzerfreundliche Umgebung für die Interaktion mit dem Modell und die Erkundung seiner Funktionen.
Insgesamt können Benutzer DBRX durch die Nutzung der von Databricks bereitgestellten Tools und Ressourcen problemlos in ihre Arbeitsabläufe integrieren und seine Funktionen für eine Vielzahl von Anwendungen in der Verarbeitung natürlicher Sprache und KI nutzen.
Für detailliertere Informationen klicken Sie Hier.
Hervorgehobener Bildnachweis: Datensteine
