Qualcomm ist bereit, LoRA-KI-Modelle auf Android zu bringen

Bei der Mobiler Weltkongress 2024Qualcomm stellt mit der Integration der LoRA-KI-Technologie in das Silizium der Snapdragon-Serie, das sorgfältig für Android-Telefone entwickelt wurde, seinen neuesten Durchbruch bei KI-Funktionen für Mobilgeräte vor. Unter den bemerkenswerten Funktionen, die für das Flaggschiff Snapdragon 8 Gen 3 vorgestellt wurden, hat Qualcomm außergewöhnliche KI-Funktionen vorgestellt, darunter sprachaktivierte Medienbearbeitung, Bilderzeugung auf dem Gerät mithilfe von Stable Diffusion und einen erweiterten virtuellen Assistenten, der umfangreiche Sprachmodelle nutzt, die von Branchenführern wie z als Meta.

Was ist LoRA?

Mit der Einführung von LoRA-KI-Modellen dringt Qualcomm tiefer in den Bereich der kreativen Bilderzeugung und -manipulation ein. Jüngste Demonstrationen von Qualcomm haben bahnbrechende Errungenschaften hervorgehoben, wie zum Beispiel die Erreichung des wWeltweit schnellste Text-zu-Bild-Generierung auf einem Smartphone mit Stable Diffusion-Technologie. Derzeit bietet das Unternehmen einen Einblick in die Möglichkeiten der LoRA-gesteuerten Bildgenerierung.

LoRA, eine Abkürzung für Low-Rank Adaptation, stellt einen neuartigen Ansatz zur Bildgenerierung dar, der sich von herkömmlichen generativen KI-Tools wie DALL·E unterscheidet. LoRA wurde von Microsoft entwickelt und geht auf die mit dem Training von KI-Modellen verbundenen Herausforderungen ein, darunter hohe Kosten, Latenzprobleme und anspruchsvolle Hardwareanforderungen.

Das Grundprinzip von Bei LoRA geht es darum, die Modellkomplexität deutlich zu reduzierenDadurch wird der Speicherverbrauch minimiert und die Trainingseffizienz gesteigert. Durch die Konzentration auf bestimmte Segmente des Modells und die Optimierung der Parameteranzahl rationalisiert LoRA den Anpassungsprozess für Text-zu-Bild-Modelle, was zu einer beschleunigten Leistung und einem geringeren Ressourcenverbrauch führt.

Im Laufe der Zeit wurde die LoRA-Destillationstechnik nahtlos in das Stable Diffusion-Modell zur Generierung von Bildern aus Textaufforderungen integriert. Die inhärenten Effizienzgewinne und die verbesserte Anpassungsfähigkeit, die LoRA-basierte Modelle bieten, machen sie besonders gut für den Einsatz auf Smartphones geeignet und stehen im Einklang mit Qualcomms Vision für KI-gesteuerte mobile Erlebnisse.

Während Stable Diffusion-Modelle für ihre Fähigkeit, Bilder und Texte mit hoher Wiedergabetreue zu erzeugen, Anerkennung gefunden haben, Ein bemerkenswerter Nachteil war die große Dateigröße, die die Speicherung und Verteilung vor Herausforderungen stellte. Hier erweist sich LoRA als zentrale Trainingstechnik, die die Feinabstimmung stabiler Diffusionsmodelle bei gleichzeitiger Beibehaltung überschaubarer Dateigrößen ermöglicht.

LoRA-Modelle zeichnen sich durch ihre kompakte Größe aus und stellen einen Durchbruch in der Modelloptimierung dar. Diese Modelle, bei denen es sich im Wesentlichen um verfeinerte Versionen von Standard-Checkpoint-Modellen handelt, zeichnen sich durch deutlich reduzierte Dateigrößen von 2 bis 500 MB aus und bieten eine praktische Lösung für Benutzer, die ein Gleichgewicht zwischen Modellgröße und Trainingseffizienz suchen.

LoRA-Feinabstimmungseinstellungen

LoRA-KI-Modelle bieten eine Reihe von Feinabstimmungseinstellungen, die es Benutzern ermöglichen, ihre KI-generierten Ausgaben entsprechend spezifischer Vorlieben und Anforderungen anzupassen. Diese Einstellungen können in verschiedene Typen kategorisiert werden, die jeweils auf unterschiedliche Anwendungsfälle und Ziele zugeschnitten sind.

Erstellen spezifischer Charaktere mit LoRA-KI-Modellen

Charakter-LoRA-KI-Modelle werden speziell trainiert einzelne Charaktere, beispielsweise aus Zeichentrickfilmen, Videospielen oder anderen Medien. Durch die Nutzung charakterspezifischer Trainingsdaten zeichnen sich diese Modelle dadurch aus, dass sie das Erscheinungsbild und die einzigartigen Merkmale jedes Charakters genau nachbilden.

Die Anwendung eines Charakter-LoRA-KI-Modells erleichtert die schnelle Generierung von Charakteren mit authentischen Merkmalen und macht sie ideal für KI-Illustrationen, Charakterkonzeptzeichnungen und Referenzblätter. Abhängig von der Ausbildung des Modells kann es Charaktere in verschiedenen Outfits, Frisuren oder Gesichtsausdrücken nachbilden. Darüber hinaus ermöglichen bestimmte LoRA-KI-Modelle für Charaktere den Benutzern, ihre ausgewählten Charaktere in neue Kontexte oder Kleidung zu setzen, was für zusätzliche Vielseitigkeit sorgt.

Charakter-LoRA-KI-Modelle umfassen eine breite Palette von Charakteren aus beliebten Franchises sowie Charakteren aus Animes und Comics. Darüber hinaus können diese Modelle auf Originalcharaktere angewendet werden, sofern ausreichend Trainingsdaten vorhanden sind. Während derzeit Experimente mit niedrigeren Trainingsdaten durchgeführt werden, wird allgemein empfohlen, Charakter-LoRA-KI-Modelle zu verwenden, die auf mindestens 10–20 verschiedenen Bildern trainiert wurden, um die Vielfalt und Qualität der generierten Charaktere zu verbessern.

Konstanter Stil mit LoRA-KI-Modellen

Style-LoRA-KI-Modelle konzentrieren sich auf die Erfassung und Replikation spezifische künstlerische Stile und nicht einzelne Charaktere oder Objekte. Diese Modelle werden in der Regel an den künstlerischen Werken eines bestimmten Künstlers geschult, sodass Benutzer ihren Kreationen den charakteristischen Stil dieses Künstlers verleihen können.

Die Vielseitigkeit der LoRA-KI-Stilmodelle liegt in ihrer Fähigkeit, verschiedene künstlerische Stile anzuwenden, die von der Ästhetik animierter Shows bis hin zu Aquarellmalereien und Strichzeichnungen reichen. Durch die Nutzung dieser Modelle können Benutzer ihren KI-generierten Kunstwerken einen eindeutigen und wiedererkennbaren Stil verleihen und sie so von herkömmlichen Ergebnissen abheben.

Was die LoRA-KI-Modelle von Style auszeichnet, ist ihre Kompatibilität mit Standard-Stable-Diffusion-Checkpoints, sodass Benutzer sie nahtlos in ihre kreativen Arbeitsabläufe integrieren können. Beispielsweise kann die Kombination eines Realismus-Checkpoints mit einem LoRA-KI-Modell im Malstil realistische Bilder mit einem malerischen Touch ergeben, was das synergetische Potenzial dieser Modelle demonstriert.

Konstante Posen mit LoRA-KI-Modellen

Wir stellen vor: Pose LoRA AI-Modelle, die dafür entwickelt wurden Sie können die Posen von Charakteren in generierten Szenen präzise manipulieren. Mit Pose LoRA AI können Benutzer mühelos dynamische Kompositionen mit bestimmten Posen und Aktionen erstellen, Szenarien, die mit herkömmlichen Prompt-Engineering-Methoden oft nur schwer zu erreichen sind.

Im Gegensatz zu anderen LoRA-KI-Modellen, die sich auf Stil oder Funktionen konzentrieren, priorisieren Pose-LoRA-KI-Modelle die Artikulation von Charakterposen. Wenn es beispielsweise auf einen humanoiden Charakter angewendet wird, erzeugt ein Pose LoRA-KI-Modell eine Vielzahl von Posen wie Laufen, Springen oder Sitzen, während die inhärenten Merkmale, die Kleidung und der Stil des Charakters erhalten bleiben.

Die LoRA-KI-Modelle von Pose bieten Benutzern eine bessere Kontrolle über ihre generierten Szenen, ohne dass komplexe Lösungen wie ControlNet erforderlich sind. Durch die Nutzung dieser Modelle können Benutzer ihren Kreationen durch einfache Änderungen an der ursprünglichen Eingabeaufforderung Dynamik und Faszination verleihen.

Kleidungsstile mit LoRA AI-Modellen

Ein weiteres unverzichtbares Werkzeug im Arsenal der LoRA-KI-Modelle ist das Kleidungs-LoRA. Dieses Spezialmodell ist Entwickelt, um die Kleidung und Accessoires von Charakteren nahtlos zu verändern. Mit Clothing LoRA AI können Benutzer Charaktere mühelos mit einer Vielzahl von Kleidungsstücken schmücken, die von zeitgenössischen bis hin zu historischen Stilen reichen.

Einer der bemerkenswerten Vorteile von LoRA-KI-Kleidungsmodellen ist ihre Universalität – sie können auf jeden Charakter angewendet werden, sodass Benutzer mit einem einzigen Modell mit einer Vielzahl von Stilen und Designs experimentieren können. Benutzer können beispielsweise ganz einfach Szenen mit Charakteren in traditioneller indischer Kleidung erstellen, indem sie ein ausgewähltes Kleidungsmodell anwenden und so eine sofortige kulturelle ästhetische Transformation bewirken.

Objektdesign mit LoRA-KI-Modellen

Der Umfang der Objekte, die mit diesen Modellen erstellt werden können, hängt vom konkret verwendeten Modell und der Eingabeaufforderung des Benutzers ab. Objekt-LoRA-KI-Modelle Sie gehen über greifbare Objekte hinaus und umfassen auch abstraktere Elemente, wie etwa Elemente der Benutzeroberfläche (UI) für Spiele oder Websites. Diese Vielseitigkeit erweist sich als unschätzbar wertvoll für die Schaffung zusammenhängender visueller Erlebnisse in verschiedenen Projekten.

Object LoRA-KI-Modelle dienen als unverzichtbare Werkzeuge für Künstler, Spieleentwickler, Webdesigner und andere Kreativprofis, die effizient maßgeschneiderte Assets erstellen möchten. Die Möglichkeit, Objekte mit maßgeschneiderten Designs herzustellen, ermöglicht es Benutzern, verschiedene visuelle Konzepte zu erkunden und damit zu experimentieren, bis sie die perfekte Lösung für ihre Projekte gefunden haben.

Suche nach LoRA-Modellen

LoRA-Modelle, die für ihr geringes Gewicht und ihre Vielseitigkeit bekannt sind, sind in mehreren Open-Source-Repositories wie Civitai und Hugging Face leicht zu finden. Diese für jedermann zugänglichen Modelle bieten eine Fülle von Möglichkeiten und können mühelos in wenigen Schritten erworben werden. Eines der herausragenden Merkmale von LoRA-Modellen ist ihre kompakte Größe, die oft nur wenige Megabyte beträgt und sie dadurch äußerst handlich und an verschiedene Anwendungen anpassbar macht.

Installieren von LoRA-Modellen

Nach der Auswahl der gewünschten LoRA-Modelle zur Nutzung besteht der nächste Schritt in der Installation im entsprechenden Verzeichnis. Der Vorgang kann je nach Ihrem spezifischen Setup variieren. Während sich dieser Leitfaden auf die Integration von LoRA-Modellen mit der WebUI von Automatic1111 konzentriert, ist es ratsam, plattformspezifische Anweisungen für eine nahtlose Integration einzuholen.

Wie integriere ich ein LoRA-Modell in Automatic1111?

Bevor Sie die von Ihnen ausgewählten Modelle in die WebUI von Automatic1111 integrieren, ist es wichtig, die LoRA-Erweiterung selbst zu installieren. Unabhängig von der für die Image-Generierung verwendeten Plattform ist die Installation der Erweiterung Voraussetzung. Hier ist eine Schritt-für-Schritt-Anleitung zur Installation der Erweiterung für Automatic1111:

• Starten Sie die Web-Benutzeroberfläche von Automatic1111.
• Navigieren Sie zu „Erweiterungen”-Tab und wählen Sie „Von URL installieren” aus den verfügbaren Optionen.
• Fügen Sie den folgenden Link in das Eingabefeld „URL für das Git-Repository der Erweiterung“ ein: https://github.com/kohya-ss/sd-webui-additional-networks.git
• Klick auf das „Installieren”-Taste, um den Installationsvorgang zu starten.
• Übergang zum „Eingerichtet”-Registerkarte und wählen Sie die Option „UI anwenden und neu starten”-Taste, wodurch die Web-Benutzeroberfläche von Automatic1111 neu gestartet werden kann.

Wenn Sie diese Schritte ausführen, werden Sie neue Unterordner in Ihrem „models“-Verzeichnis bemerken, die zum Speichern von LoRA-Modellen vorgesehen sind. Es ist jedoch wichtig, diesen Ordner so zu konfigurieren, dass die Web-Benutzeroberfläche von Automatic1111 darauf zugreifen kann.

• Öffne das „EinstellungenKlicken Sie auf die Registerkarte „Zusätzliche Netzwerke“ und navigieren Sie zum Abschnitt „Zusätzliche Netzwerke“.
• Suchen Sie „Zusätzliche Pfade zum Scannen nach LoRA-Modellen“ Eingabefeld.
• Fügen Sie den richtigen Ordnerpfad ein, der normalerweise im Ordner „stabile-diffusion-webui/models/Lora“ Verzeichnis.
• Klicke auf „Einstellungen übernehmen”, um die Konfiguration abzuschließen.

Während die LoRA-Erweiterung nun installiert ist, sind weitere Schritte erforderlich, um die Bildgenerierung zu starten. Sie müssen die tatsächlichen LoRA-Modelle im dafür vorgesehenen Ordner installieren.

Tensorkunst ermöglicht die Erzeugung detaillierter Bilder mit stabiler Diffusion

Verwendung von LoRA-Modellen in Automatic1111

Sobald Ihr bevorzugtes LoRA-Modell installiert ist, können Sie problemlos mit der Image-Erstellung beginnen. Hier ist eine Anleitung zur Nutzung von LoRA-Modellen innerhalb der Web-Benutzeroberfläche von Automatic1111:

• Starten Sie die Web-Benutzeroberfläche von Automatic1111 und wählen Sie das gewünschte Prüfpunktmodell aus.
• Stellen Sie sicher, dass Sie in Ihrer Eingabeaufforderung ggf. das Auslösewort der LoRA angeben. Dieses Wort wird normalerweise in der Beschreibung des Modells oder unter dem Parameter „Trigger Words“ auf Civitai angegeben.
• Unter dem „GenerierenKlicken Sie auf die Schaltfläche „Zusätzliche Netzwerke”-Symbol und navigieren Sie zum „Lora” Registerkarte.
• Wählen Sie das gewünschte LoRA-Modell aus, um es in Ihre Eingabeaufforderung einzufügen.
• Passen Sie bei Bedarf die Gewichtung der LoRA an und ändern Sie den Standardwert gemäß den Anforderungen des Modells.
• Konfigurieren Sie Ihre Generierungseinstellungen entsprechend.
• Drücke den „Generieren”-Taste, um den Bildgenerierungsprozess zu starten.

Nach Abschluss beobachten Sie die Anwendung des LoRA-Modells auf Ihr generiertes Bild, wodurch die Spezifität und Einzigartigkeit der dargestellten Konzepte verbessert wird. Wenn Sie Zeit und Mühe in die Konfiguration von LoRA-Modellen investieren, erzielen Sie bemerkenswerte Ergebnisse und erweitern die kreativen Möglichkeiten in Ihren Projekten.

Bildnachweis: Kerem Gülen/Midjourney