Das Denkmaschinenlabor, das von 2 Milliarden US -Dollar an Saatgutfinanzierungen unterstützt und mit ehemaligen OpenAI -Forschern teilgenommen hat, hat seine ersten detaillierten Forschungserkenntnisse geteilt. Das Labor veröffentlichte am Mittwoch einen Blog -Beitrag, in dem untersucht wurde, wie KI -Modelle erstellt werden, die konsistentere und reproduzierbarere Antworten erzeugen und eine grundlegende Herausforderung in der Entwicklung künstlicher Intelligenz angehen.
AI -Modellkonsistenzforschungsforschung zielt nicht determinismus in Großsprachenmodellen ab
Der Blog -Beitrag mit dem Titel „Nichtdeterminismus in LLM -Inferenz zu besiegen„Untersucht, warum KI -Modelle häufig unterschiedliche Antworten auf identische Fragen generieren. Diese Variabilität wurde zwar als inhärentes Merkmal großer Sprachmodelle angenommen, und das Denkmaschinenlabor betrachtet diesen Nichtdeterminismus eher als lösbares Problem als als unvermeidliche Einschränkung.
GPU -Kernel -Orchestrierung verursacht die Reaktion zufälligen
Forscher Horace er verfasste den Beitrag und argumentierte, dass Zufälligkeit in AI -Modellen darauf zurückzuführen ist, wie GPU -Kerne während der Inferenzverarbeitung orchestriert werden. Die Inferenzverarbeitung bezieht sich auf die Berechnungsschritte, die auftreten, nachdem Benutzer Abfragen eingereicht haben, z. B. das Drücken der Eingabetaste in ChatGPT. GPU -Kerne sind spezielle Programme, die auf NVIDIA -Computerchips ausgeführt werden. Er glaubt, dass eine sorgfältige Verwaltung dieser Orchestrierungsschicht AI -Modellen ermöglichen kann, vorhersehbare und konsistentere Ausgaben zu erzeugen.
Konsistente Reaktionen verbessern das Training des Verstärkungslernens
Neben der Verbesserung der Zuverlässigkeit für Unternehmens- und wissenschaftliche Anwendungen schlägt er vor, dass reproduzierbare Antworten die Schulung des Verstärkungslernens (RLL) rationalisieren können. KI -Modelle für Verstärkungslernen für korrekte Antworten, aber inkonsistente Antworten führen Rauschen in Trainingsdaten ein. Konsistentere Antworten könnten den RL -Prozess verbessern, der mit den früheren Berichten der Informationen übereinstimmt, dass Denkmaschinen Labor RL zur Anpassung von KI -Modellen auf bestimmte Geschäftsanforderungen verwenden.
Erste Produkteinführung für die kommenden Monate geplant
Der ehemalige OpenAI -Chief Technology Officer Mira Murati gab im Juli bekannt, dass Denke Machines Lab bald sein erstes Produkt veröffentlichen wird. Sie gab an, dass das Produkt „nützlich für Forscher und Startups, die benutzerdefinierte Modelle entwickeln“, obwohl spezifische Details, und ob es die Reproduzierbarkeitstechniken enthält, bleiben unbekannt.
Open Forschungsverpflichtung spiegelt den frühen OpenAI -Ansatz wider
Denkmaschinenlabor kündigte Pläne zur regelmäßigen Veröffentlichung von Blog -Posts, Code und Forschungsergebnissen an, um „der Öffentlichkeit zugute zu kommen, aber auch unsere eigene Forschungskultur zu verbessern“. Die jüngste Post startet eine neue Serie namens „Connectionism“, die diese Transparenzverpflichtung widerspiegelt. Dieser Ansatz spiegelt das frühe Open Research -Versprechen von Openai wider, obwohl Openai mit zunehmendem Wachstum weniger transparent wurde. Der Forschungsblog bietet seltene Einblicke in die Geschäftstätigkeit von Thinking Machines Lab und zeigt an, dass das Unternehmen erhebliche AI -Forschungsherausforderungen angeht und auf Produkte hinarbeitet, die seine Bewertung von 12 Milliarden US -Dollar rechtfertigen.
