Convai wird mithilfe der neuen NVIDIA ACE-Technologie KI-NPCs durch weitere Fortschritte in der generativen KI fördern. Ihre erste Vorführung mit einem lebensechten Ramen-Laden und den Charakteren Jin und Kai war beeindruckend. Jetzt enthüllt Convai eine neue Phase der KI-gesteuerten Charaktertechnologie. Diese Innovation ermöglicht es den Charakteren, innerhalb von Spielen authentische Gespräche mit Spielern zu führen und so die Spielerinteraktion zu verbessern.
Mit der Vorstellung erweiterter Fähigkeiten in den Bereichen Konversation, Wahrnehmung und Aktionsgenerierung hat Convai bedeutende Fortschritte bei der Schaffung immersiver Spielerlebnisse gemacht. Diese Entwicklungen versprechen einen transformativen Sprung in der Art und Weise, wie Spieler mit Spielumgebungen und Charakteren interagieren, und stellen einen bemerkenswerten Fortschritt für die KI-NPC-Technologie dar.
Ankündigungen zur CES 2024: Die interessantesten Produkte
Convai heißt KI-NPCs mit NVIDIA ACE willkommen
NVIDIA ACE stellt einen bahnbrechenden Schritt in der Gaming-Technologie dar. Stellen Sie sich ein Szenario vor, in dem Spieler intelligente, nicht geschriebene und dynamische Gespräche mit nicht spielbaren Charakteren (NPCs) in Spielen führen können. Diese NPCs würden über sich entwickelnde Persönlichkeiten, präzise Gesichtsanimationen und die Fähigkeit verfügen, in der Muttersprache des Spielers zu interagieren. Dank generativer KI-Technologien wird dieses Konzept Wirklichkeit.
Auf der COMPUTEX 2023 kündigte NVIDIA die Zukunft der NPCs mit der NVIDIA Avatar Cloud Engine (ACE) für Spiele an. NVIDIA ACE for Games ist ein maßgeschneiderter KI-Modell-Foundry-Service, der das Gaming revolutionieren soll, indem er nicht spielbare Charaktere mit KI-gestützten Interaktionen in natürlicher Sprache verbindet. Diese Entwicklung soll das Spielerlebnis verändern und die Interaktion mit den Spielcharakteren realistischer und immersiver machen.
Generative KI hat das Potenzial, die Interaktivität, die Spieler mit Spielcharakteren haben können, zu revolutionieren und das Eintauchen in Spiele dramatisch zu steigern. Aufbauend auf unserem Fachwissen im Bereich KI und jahrzehntelanger Erfahrung in der Zusammenarbeit mit Spieleentwicklern ist NVIDIA Vorreiter beim Einsatz generativer KI in Spielen.
-John Spitzer, Vizepräsident für Entwickler- und Leistungstechnologie bei NVIDIA
NVIDIA ACE für Entwickler
NVIDIA ACE for Games ebnet Entwicklern von Middleware, Tools und Spielen den Weg zur Integration fortschrittlicher KI-Funktionen. Über diese Plattform können sie individuelle Sprach-, Konversations- und Animations-KI-Modelle in ihrer Software und ihren Spielen erstellen und bereitstellen, auf die sowohl in Cloud- als auch in PC-Umgebungen zugegriffen werden kann.
Zu den optimierten KI-Grundlagenmodellen, die in NVIDIA ACE for Games integriert sind, gehören:
- NVIDIA NeMo: Dies bietet grundlegende Sprachmodelle sowie Tools zur Modellanpassung, sodass Entwickler die Modelle weiter verfeinern können, um sie an ihre Spielcharaktere anzupassen. Dieses anpassbare Large Language Model (LLM) erleichtert die Erstellung einzigartiger Charakter-Hintergrundgeschichten und -Persönlichkeiten, die auf die Spielwelt eines Entwicklers zugeschnitten sind. Mit NeMo Guardrails können Entwickler außerdem programmierbare Regeln für NPCs festlegen und so sicherstellen, dass die Interaktionen der Spieler mit dem Kontext einer Szene konsistent sind.
- NVIDIA Riva: Es erweitert die Funktionen der automatischen Spracherkennung (ASR) und Text-to-Speech (TTS) und fördert die in NVIDIA NeMo integrierte Live-Sprachkonversation. Dies ermöglicht eine nahtlose Interaktion zwischen Spielern und Spielcharakteren.
- NVIDIA Omniverse Audio2Face: Eine herausragende Funktion: Audio2Face generiert ausdrucksstarke Gesichtsanimationen für Spielcharaktere nur aus einer Audioquelle. Mit Omniverse-Konnektoren für Unreal Engine 5 können Entwickler Gesichtsanimationen direkt zu MetaHuman-Charakteren hinzufügen und so den Realismus und die Ausdruckskraft im Spiel deutlich verbessern.
Diese Komponenten von NVIDIA ACE for Games stellen einen erheblichen Fortschritt in der Spieleentwicklung dar und bieten Tools zur Schaffung realistischerer und interaktiverer Spielerlebnisse. Diese Tool-Suite unterstreicht NVIDIAs Engagement, die Gaming-Branche durch innovative KI-Anwendungen voranzutreiben.
Wie funktioniert NVIDIA ACE?
NVIDIA ACE for Games funktioniert auf eine Weise, die seine bemerkenswerten Fähigkeiten unter Beweis stellt und einen Einblick in die Zukunft der NPC-Entwicklung in Spielen bietet. Um dies zu veranschaulichen, hat NVIDIA mit Convai zusammengearbeitet, einem NVIDIA Inception-Startup, das sich der Erstellung und Bereitstellung von KI-Charakteren in Spielen und virtuellen Welten widmet. Diese Partnerschaft war maßgeblich an der Optimierung und Integration der ACE-Module in die Convai-Plattform beteiligt.
Die Kairos-Demo, eine Präsentation von NVIDIA ACE for Games, nutzte verschiedene NVIDIA-Technologien:
Mit NVIDIA ACE for Games können die Tools von Convai die erforderliche Latenz und Qualität erreichen, um nicht spielbare KI-Charaktere nahezu jedem Entwickler kosteneffizient zur Verfügung zu stellen.
-Purnendu Mukherjee, Gründer und CEO von Convai
NVIDIA Riva wurde für Speech-to-Text- und Text-to-Speech-Funktionen eingesetzt, NVIDIA NeMo unterstützte die Konversations-KI und Audio2Face wurde für KI-gesteuerte Gesichtsanimationen verwendet, die aus Spracheingaben abgeleitet wurden. Diese Module wurden nahtlos in die Convai-Dienstleistungsplattform integriert, dann in Unreal Engine 5 und MetaHuman integriert und gipfelten in der Schaffung von Jin, einer Figur in der Ramen-Shop-Szene.
Diese Szene wurde zusammen mit Jin vom Grafikteam von NVIDIA Lightspeed Studios erstellt und vollständig in der Unreal Engine 5 gerendert. Das Rendering nutzte NVIDIA RTX Direct Illumination (RTXDI) für Raytracing-Beleuchtung und Schatten sowie DLSS zur Optimierung von Bildraten und Bildern Qualität.
Die Echtzeitdemonstration von Jin und seinem Ramen Shop demonstriert nicht nur die Fähigkeiten von GeForce RTX-Grafikkarten, NVIDIA RTX-Technologien und NVIDIA ACE für Spiele, sondern veranschaulicht auch das zukünftige Potenzial von Spielen, die diese bahnbrechende Technologie nutzen werden.
