> ## Documentation Index
> Fetch the complete documentation index at: https://novita.ai/docs/llms.txt
> Use this file to discover all available pages before exploring further.

# Axolotl auf Novita AI ausführen

> Erfahren Sie, wie Sie große Sprachmodelle (LLMs) mühelos mit Axolotl auf Novita AI feinabstimmen.

Axolotl bietet ein robustes, flexibles Framework zum Trainieren von LLMs mit fortschrittlichen Techniken und unterstützt verschiedene Modellarchitekturen und Trainingsstrategien. Ideal für Forschende und Entwickler: Axolotl in Kombination mit der leistungsstarken, hardwarefreien Infrastruktur von Novita AI optimiert Arbeitsabläufe und beseitigt Einschränkungen durch lokale Hardware.

Diese Anleitung bietet eine Schritt-für-Schritt-Anleitung zum Bereitstellen und Ausführen von Axolotl auf Novita AI und erschließt das volle Potenzial Ihrer Projekte zum Training von KI-Modellen.

## So verwenden Sie Axolotl:main-latest auf Novita AI

Schritt 1: Zugriff auf [**die GPU Instance Console**](https://novita.ai/gpus)

* Klicken Sie auf `Get Started`, um auf die GPU Instance Console zuzugreifen.

<Frame>
  <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step1-AccesstheGPUInstanceConsole.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=28625df2e2e6f1232c8107762cfc6ed6" alt="Schritt 1 Zugriff auf die GPU Instance Console Pn" width="3840" height="1941" data-path="images/Step1-AccesstheGPUInstanceConsole.png" />
</Frame>

Schritt 2: Template und GPU-Typ auswählen

* Durchsuchen Sie verschiedene offizielle Templates und GPU-Kartenoptionen.
* Wählen Sie [**das Axolotl:main-latest-Template**](https://novita.ai/gpus-console?templateId=311).
* Klicken Sie unter der 4090-GPU-Karte auf `Deploy`, um zur Seite zur Instanzerstellung zu gelangen.

<Frame>
  <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step2-ChooseaTemplateandGPUType.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=3e15b2cbd4b915cd6c6df292fca60e29" alt="Schritt 2 Template und GPU-Typ auswählen Pn" width="3841" height="1412" data-path="images/Step2-ChooseaTemplateandGPUType.png" />
</Frame>

Schritt 3: Festplatten- und Konfigurationsparameter anpassen

* Passen Sie im Abschnitt `Disk` die Größe der Systemfestplatte und der lokalen Festplatte an.
* Ändern Sie im Abschnitt `Configuration` Einstellungen wie Image, Startbefehle, Ports und Umgebungsvariablen.
* Aktivieren Sie das Kontrollkästchen für Start Jupyter Notebook, um Jupyter zu starten.

<Frame>
  <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step3-AdjustDiskandConfigurationParameters.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=5f7ad58a188a14c676e26db9b05ba2d8" alt="Schritt 3 Festplatten- und Konfigurationsparameter anpassen Pn" width="3841" height="1905" data-path="images/Step3-AdjustDiskandConfigurationParameters.png" />
</Frame>

Schritt 4: Konfiguration bestätigen und bereitstellen

* Überprüfen Sie die Instanzkonfiguration und die Kosten auf der Bestätigungsseite.
* Klicken Sie auf `Deploy`, um den Bereitstellungsprozess zu starten.

<Frame>
  <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step4-ConfirmConfigurationandDeploy.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=d7cc24bc299612b7f5e94a7f9578ebf5" alt="Schritt 4 Konfiguration bestätigen und bereitstellen Pn" width="3841" height="1905" data-path="images/Step4-ConfirmConfigurationandDeploy.png" />
</Frame>

Schritt 5: Warten, bis die Bereitstellung abgeschlossen ist

* Warten Sie, bis die Bereitstellung der Instanz abgeschlossen ist.

<Frame>
  <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step5-WaitforDeploymenttoComplete.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=d1bde3687d206d330aa7ae8bd07356cf" alt="Schritt 5 Warten, bis die Bereitstellung abgeschlossen ist Pn" width="1434" height="1102" data-path="images/Step5-WaitforDeploymenttoComplete.png" />
</Frame>

Schritt 6: Instanzen verwalten und überwachen

* Sobald die Bereitstellung abgeschlossen ist, leitet Sie das System zur Seite `Instance Management` weiter.
* Suchen Sie Ihre neu erstellte Instanz, die anfangs den Status Pulling anzeigt (dies bedeutet, dass das Image heruntergeladen wird).
* Klicken Sie auf den kleinen Pfeil auf der rechten Seite der Instanz, um Details anzuzeigen.
* Überwachen Sie den Fortschritt des Image-Downloads. Nach Abschluss wechselt die Instanz in den Status Running.
* Klicken Sie auf `Logs`, um Bereitstellungsprotokolle anzuzeigen.

<Frame>
  ### &#x20; <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step6-ManageandMonitorInstances.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=ea8a23135307454deb057dfb51f32652" alt="Schritt 6 Instanzen verwalten und überwachen Pn" width="3832" height="712" data-path="images/Step6-ManageandMonitorInstances.png" />
</Frame>

Schritt 7: Instanzprotokolle prüfen

* Wechseln Sie zum Tab `Instance Logs`, um zu prüfen, ob der Dienst gestartet wird.
* Warten Sie, bis die Initialisierung des Dienstes abgeschlossen ist.

<Frame>
  ### &#x20; <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step7-CheckInstanceLogs.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=5aece56043a7a85239b9c168b15b442f" alt="Schritt 7 Instanzprotokolle prüfen Pn" width="1280" height="816" data-path="images/Step7-CheckInstanceLogs.png" />
</Frame>

Schritt 8: Mit Jupyter Lab verbinden

* Schließen Sie die Protokollseite.
* Klicken Sie auf `Connect`, um die Seite mit den Verbindungsinformationen zu öffnen.
* Suchen Sie den Abschnitt `Connection Options` und klicken Sie auf `Connect to Jupyter Lab`, um auf die Jupyter-Oberfläche zuzugreifen.

<Frame>
  ### &#x20; <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step8-ConnecttoJupyterLab.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=cf66856fabd630d6f248d7959c8ba7ac" alt="Schritt 8 Mit Jupyter Lab verbinden Pn" width="1280" height="400" data-path="images/Step8-ConnecttoJupyterLab.png" />
</Frame>

Schritt 9: Auf Jupyter Lab zugreifen

* Warten Sie, bis die Weboberfläche von Jupyter Lab geladen ist.
* Öffnen Sie `Terminal`, um ein offizielles Beispiel auszuführen und zu überprüfen, ob der Dienst korrekt funktioniert.

<Frame>
  ### &#x20; <img src="https://mintcdn.com/novitaai/bnRhXPrVKQGiPndx/images/Step9-AccessJupyterLab.png?fit=max&auto=format&n=bnRhXPrVKQGiPndx&q=85&s=c36adb44cdaf47173b8e301e97547332" alt="Schritt 9 Auf Jupyter Lab zugreifen Pn" width="1280" height="635" data-path="images/Step9-AccessJupyterLab.png" />
</Frame>

Schritt 10: Ein Fine-Tuning-Beispiel ausführen

* Führen Sie den offiziellen Beispielcode aus, um eine Fine-Tuning-Aufgabe durchzuführen.

```bash theme={"system"}
# Fetch axolotl examples
axolotl fetch examples

# Or, specify a custom path
axolotl fetch examples --dest path/to/folder

# Train a model using LoRA
axolotl train examples/llama-3/lora-1b.yml
```

**Hinweis:** Sie können den standardmäßigen Einhängepfad für das Netzwerk-Volume in der Konsole nicht ändern. Er kann nur beim Erstellen einer Instanz oder über OpenAPI festgelegt werden. Legen Sie den gewünschten Einhängepfad während der Instanzerstellung fest, wenn Sie ein Volume anhängen.
