LoRA: Feinabstimmung bestehender Stable Diffusion Modelle

Was ist ein LoRA? Eine Einführung in Low-Rank Adaptations

LoRAs (Low-Rank Adaptations) sind kleinere Modelle, die du mit bestehenden Stable Diffusion Modellen kombinieren kannst. Sie erlauben es, ein bestehendes Modell zu fine-tunen. So kannst du neue Konzepte wie Styles, Subjekte und Objekte (je nach LoRA) in deinen generierten Bildern hinzufügen.

Die Methode des Trainings: Dreambooth

Die Methode zum Training spezieller Stile und Konzepte, die wir nutzen, ist hier ziemlich ausführlich beschrieben: Dreambooth. Diese neuen Konzepte fallen grob in zwei Kategorien: Stile und Subjekte/Objekte.

Stile und Subjekte/Objekte

Stile umfassen alles von Wasserfarbe, VHS Glitches, Comic Styles bis hin zu Glas-Optik. Subjekte und Objekte könnten prominente Personen oder Charaktere wie Liam Gallagher, Rhianna, Lara Croft und Sauron sein.

• 1

  Stile

  Wasserfarbe, VHS Glitches, Comic Styles, Glas-Optik und mehr

• 2

  Subjekte/Objekte

  Prominente Personen und Charaktere wie Liam Gallagher, Rhianna, Lara Croft

Aktivierung eines LoRAs

Um ein LoRA zu aktivieren, kannst du unter dem Tab LoRA ein entsprechendes LoRA aktivieren. Wichtig hierbei ist, dass das LoRA auch mit dem Basismodell kompatibel ist. Weitere Informationen und Beispiele dafür findest du auf Stable Diffusion – webUI.

Daten für das Training eines eigenen LoRAs

Du brauchst dafür ein Dataset von ca. 10-30 Bildern. Dies können Bilder eines bestimmten Stils, eines Objekts oder z.B. des Gesichts einer Person (Selfies) sein. Im nachfolgenden Beispiel wurde ein Dataset mit 50 Bildern des Pilatus genutzt.

Durch die Nutzung von LoRAs kannst du die Generierung von Bildern auf HomestagingKi erheblich erweitern und personalisieren, indem du spezifische Stile und Subjekte hinzufügst.

Zusammenfassend lässt sich sagen:

LoRAs bieten eine hervorragende Möglichkeit, bestehende Stable Diffusion Modelle feinabzustimmen und neue Konzepte wie Stile und Subjekte hinzuzufügen. Mit den richtigen Trainingsdaten und Tools wie Dreambooth kannst du erstaunliche Resultate erzielen.
Besuche HomestagingKi für mehr Informationen und um herauszufinden, wie du LoRAs effektiv nutzen kannst.