> ## Documentation Index > Fetch the complete documentation index at: https://novita.ai/docs/llms.txt > Use this file to discover all available pages before exploring further. # Anleitung für Bildbeschriftungen beim Training ### Vorbereitung Je nachdem, wie und was du trainierst, musst du die Fotos möglicherweise auf eine bestimmte Breite und Höhe zuschneiden. Andere Trainingsarten können Bilder in verschiedene Größen einteilen und erfordern kein Zuschneiden. Informiere dich darüber, was für die von dir verwendete Trainingsmethode, das Modell, das du trainierst, und das Programm, mit dem du dein Modell trainierst, erforderlich ist. ### Captioning – Allgemeine Hinweise #### Automatisiertes Captioning vermeiden * BLIP und deepbooru sind spannend, aber es ist dafür noch etwas früh. * BLIP und deepbooru haben Schwierigkeiten mit Kontext und relativer Wichtigkeit. * Es ist schneller, manuell Captions zu schreiben, als Fehler von BLIP oder deepbooru zu korrigieren und am Ende trotzdem manuell captionen zu müssen. #### Captione so, wie du promptest * Captioning und Prompting hängen zusammen. * Erkenne, wie du üblicherweise promptest. Verwendest du ausführliche Sätze? Kurze Beschreibungen? Vage oder detaillierte Prompts? * Captione in einem ähnlichen Stil und mit ähnlicher Ausführlichkeit wie bei deinen üblichen Prompts. #### Folge pro Konzept einer festen Struktur * Einer Struktur zu folgen wird den Lernprozess begünstigen. * Du könntest eine Struktur für Fotografien und eine andere für Illustrationen haben. Versuche jedoch zu vermeiden, beim Captioning eines einzelnen Datasets Strukturen zu vermischen. #### Captions sind wie Variablen, die du in deinen Prompts verwenden kannst Alles, was du in einer Caption beschreibst, kann als Variable betrachtet werden, die du in deinem Prompt beeinflussen kannst. Das hat zwei Konsequenzen: 1. Du solltest so viele Details wie möglich zu allem beschreiben, was nicht das Konzept ist, das du implizit lehren möchtest. Anders gesagt: Beschreibe alles, was zu einer Variable werden soll. Wenn du zum Beispiel ein bestimmtes Gesicht trainierst, aber die Haarfarbe ändern können möchtest, solltest du die Haarfarbe in jedem Bild beschreiben, damit "hair color" zu einer deiner Variablen wird. 2. Du solltest nichts beschreiben (abgesehen von einer Beschreibung auf Klassenebene), was implizit gelernt werden soll. Anders gesagt: Das, was du lehren möchtest, sollte nicht zu einer Variable werden. Wenn du zum Beispiel ein bestimmtes Gesicht trainierst, solltest du es nicht als eines mit einer großen Nase beschreiben. Du möchtest nicht, dass die Nasengröße variabel ist, denn dann ist es nicht mehr genau dieses bestimmte Gesicht. Du kannst jedoch weiterhin "face" captionen, wenn du möchtest, was dem Modell, das du trainierst, Kontext liefert. Das hat einige Auswirkungen, die im folgenden Punkt beschrieben werden. #### Klassen als Tags nutzen * Hier gibt es zwei Konzepte. 1. Die Verwendung generischer Klassentags wird diese gesamte Klasse in Richtung deiner Trainingsdaten beeinflussen. Je nach deinen Zielen kann das erwünscht sein oder nicht. 2. Die Verwendung generischer Klassentags liefert dem Lernprozess Kontext. Konzeptionell ist es einfacher zu lernen, was ein "face" ist, wenn das Modell bereits eine vernünftige Annäherung an "face" hat. * Wenn du die gesamte Klasse deines Modells in Richtung deiner Trainingsbilder beeinflussen möchtest, verwende breite Klassentags statt spezifischer Tags. Wenn du deinem Modell zum Beispiel beibringen möchtest, dass jeder Mann wie Brad Pitt aussehen sollte, sollten deine Captions den Tag "man" enthalten, aber nicht spezifischer als das sein. Dadurch wird dein Modell beeinflusst, einen wie Brad Pitt aussehenden Mann zu erzeugen, wann immer du das Wort "man" in deinem Prompt verwendest. Außerdem kann dein Modell beim Training auf das zurückgreifen und nutzen, was es bereits über das Konzept "man" weiß. * Wenn du die Auswirkungen deines Trainings auf die gesamte Klasse reduzieren möchtest, füge spezifische Tags ein und schwäche Klassentags ab. Wenn du deinem Modell zum Beispiel beibringen möchtest, dass nur "ohwxman" wie Brad Pitt aussehen soll, und du nicht möchtest, dass jeder "man" wie Brad Pitt aussieht, würdest du "man" nicht als Tag verwenden, sondern nur mit "ohwxman" taggen. Dadurch wird der Einfluss deiner Trainingsbilder auf den Tag "man" reduziert und deine Trainingsbilder werden stark mit "ohwxman" verknüpft. Dein Modell wird auf das zurückgreifen, was es über "ohwxman" weiß, was praktisch nichts ist (siehe Hinweis), und baut dadurch Wissen fast ausschließlich aus deinen Trainingsbildern auf, wodurch eine sehr starke Assoziation entsteht. * **Hinweis:** Dies ist zum besseren Verständnis vereinfacht. Tatsächlich würde dies in zwei Tokens tokenisiert werden, "ohwx" und "man", aber diese Tokens wären für Trainingszwecke stark korreliert, was den Einfluss auf die gesamte Klasse "man" im Vergleich zum Training mit "man" als Token in der Caption dennoch reduzieren sollte. Die zugrunde liegende Mathematik ist ziemlich komplex und geht weit über den Rahmen dieses Dokuments hinaus. #### Konsistentes Captioning * Verwende während deines gesamten Trainings konsistente Captions. Das hilft dir, dein Konzept beim Prompting konsistent aufzurufen. * Die Verwendung inkonsistenter Tags in deinem Dataset macht es für das Modell schwieriger, das Konzept zu erfassen, das du lehren möchtest, da du es im Grunde zwingst, sowohl das Konzept als auch die verschiedenen Formulierungen für dieses Konzept zu lernen. Es ist deutlich besser, wenn es das Konzept einfach unter einem einzigen Begriff lernt. * Zum Beispiel möchtest du wahrscheinlich nicht sowohl "legs raised in air" als auch "raised legs" verwenden, wenn du ein einzelnes Konzept einer Person mit in die Luft gehobenen Beinen lehren möchtest. Du möchtest diese Pose in deinem Prompt konsistent aufrufen können, also wähle eine Art, sie zu captionen. #### Wiederholungen vermeiden * Versuche, Wiederholungen nach Möglichkeit zu vermeiden. Ähnlich wie beim Prompting erhöht das Wiederholen von Wörtern die Gewichtung dieser Wörter. * Wenn wir zum Beispiel das Wort "background" zu oft wiederholen, haben wir möglicherweise drei Tags, die "background" enthalten (z. B. simple background, white background, lamp in background). Obwohl wir möchten, dass der Hintergrund eine niedrige Gewichtung hat, haben wir die Gewichtung unbeabsichtigt deutlich erhöht. Es wäre besser, diese zu kombinieren oder umzuformulieren (z. B. simple white background with a lamp). #### Reihenfolge beachten * Auch hier gilt, genau wie beim Prompting: Die Reihenfolge ist für die relative Gewichtung von Tags wichtig. * Eine bestimmte Struktur oder Reihenfolge, die du im Allgemeinen für Captions verwendest, kann dir helfen, die relativen Gewichtungen von Tags zwischen den Bildern in deinem Dataset beizubehalten, was dem Trainingsprozess zugutekommen sollte. * Eine standardisierte Reihenfolge macht den gesamten Captioning-Prozess schneller, da du mit dem Captioning innerhalb dieser Struktur vertrauter wirst. #### Nutze das vorhandene Wissen deines Modells zu deinem Vorteil * Dein Modell erzeugt bereits ordentliche Ergebnisse und versteht einigermaßen, was du promptest. Nutze das aus, indem du mit Wörtern captionest, die in deinen Prompts bereits gut funktionieren. * Du solltest beschreibende Wörter verwenden, aber wenn du Wörter verwendest, die zu obskur oder zu nischig sind, kannst du wahrscheinlich nicht viel vorhandenes Wissen nutzen. Zum Beispiel könntest du "sarcastic" oder "mordacious" sagen. Das Modell hat eine gewisse Vorstellung davon, was "sarcastic" vermittelt, aber es hat wahrscheinlich keine Ahnung, was "mordacious" bedeutet. * Du kannst das auch aus der entgegengesetzten Perspektive betrachten. Wenn du versuchen würdest, das Konzept "mordacious" zu lehren, könntest du ein Dataset voller Bilder haben, die "sarcastic" vermitteln, und sie mit beiden Tags "sarcastic" und "mordacious" nebeneinander captionen (damit sie in der relativen Gewichtung nahe beieinander liegen). ### Captioning – Struktur Dies gilt hauptsächlich für Personen oder Charaktere, daher ist es möglicherweise nicht ganz so gut auf Dinge wie Fantasy-Landschaften anwendbar, kann aber vielleicht als Inspiration dienen. #### Allgemeines Format #### Lose Assoziationen * Hier setzen wir alle abschließenden losen Assoziationen hin, die wir mit dem Bild haben. * Das kann alles sein, was uns in den Sinn kommt, normalerweise „Gefühle“, die wir beim Betrachten des Bildes empfinden, oder Konzepte, von denen wir das Gefühl haben, dass sie dargestellt werden; hier ist wirklich alles möglich, solange es im Bild existiert. * Denke daran, dass dies für lose Assoziationen gedacht ist. Wenn das Bild sehr offensichtlich ein bestimmtes Gefühl darstellt, möchten wir es möglicherweise näher am Anfang der Caption taggen, um eine höhere Gewichtung zu erzielen. * Zum Beispiel: happy, sad, joyous, hopeful, lonely, sombre #### VOLLSTÄNDIGES BEISPIEL EINES EINZELNEN BILDES Dies ist ein Beispiel dafür, wie wir ein einzelnes Bild captionen würden, das wir von safebooru ausgewählt haben. Wir nehmen an, dass ich den Stil dieses Bildes trainieren und ihn mit dem Tag "ohwxStyle" verknüpfen möchte, und wir nehmen an, dass wir viele Bilder in diesem Stil in unserem Dataset haben. Beispielbild: [https://safebooru.org/index.php?page=post\&s=view\&id=3887414](https://safebooru.org/index.php?page=post\&s=view\&id=3887414) * Globale Tags: ohwxStyle * Typ oder Perspektive von einem: anime, drawing, of a young woman, full body shot, from side * Aktionswörter: sitting, looking at viewer, smiling, head tilt, holding a phone, eyes closed * Beschreibung des Motivs: short brown hair, pale pink dress with dark edges, stuffed animal in lap, brown slippers * Auffällige Details: sunlight through windows as lighting source * Hintergrund oder Ort: brown couch, red patterned fabric on couch, wooden floor, white water-stained paint on walls, refrigerator in background, coffee machine sitting on a countertop, table in front of couch, bananas and coffee pot on table, white board on wall, clock on wall, stuffed animal chicken on floor * Lose Assoziationen: dreary environment Alles zusammen: ohwxStyle, anime, drawing, of a young woman, full body shot, from side, sitting, looking at viewer, smiling, head tilt, holding a phone, eyes closed, short brown hair, pale pink dress with dark edges, stuffed animal in lap, brown slippers, sunlight through windows as lighting source, brown couch, red patterned fabric on couch, wooden floor, white water-stained paint on walls, refrigerator in background, coffee machine sitting on a countertop, table in front of couch, bananas and coffee pot on table, white board on wall, clock on wall, stuffed animal chicken on floor, dreary environment