Direkt zum Hauptinhalt

LLMs & Embedding Modelle

Large Language Modelle und Embeddings

Wir stellen eine OpenAI-kompatible Modelloberfläche bereit. Auf dieser Seite stehen bewusst nur die Informationen, die Nutzer direkt brauchen: der Model-Parameter für den Client, das tatsächlich dahinterliegende Zielmodell, der Host-Typ myLab THL | GWDG und die wichtigsten Limits.

Setze im OpenAI-Client die base_url auf den Modell-Proxy https://models.mylab.th-luebeck.de/v1 und verwende einen Dummy-API-Key.

HinweilsHinweis GWDG-Rate-Limits >>>>>>>>>>>>>>>>>>TODO

Chat generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
chat-small qwen3-vl-8b THL chat/completions 40.960 Kontext, max. 2 Bilder
chat-default gpt-oss-120b GWDG chat/completions, completions Standardalias; beide Chat-Endpunkte vorhanden
chat-medium gpt-oss-120b GWDG chat/completions, completions Gleiche Backend-Zuordnung wie chat-default
chat-large glm-4.7 GWDG chat/completions Größerer Chat-Alias
chat-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Größter Chat-Alias in der GWDG-Gruppe

Chat-VL generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
chat-vl-small qwen3-vl-8b THL chat/completions 40.960 Kontext, max. 2 Bilder
chat-medium gemma4-31b GWDG chat/completions, completions Gleiche Backend-Zuordnung wie chat-default
chat-vl-large qwen3.5-397b-a17b GWDG chat/completions Extern gehostet; Limits im Repo nicht dokumentiert
chat-vl-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Extern gehostet; Limits im Repo nicht dokumentiert

Andere generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
coder-small qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder
coder-large glm-4.7 GWDG chat/completions Extern gehostet

Explizite Modellnamen

Modellname myLab THL | GWDG API Hinweise
gpt-oss-120b GWDG chat/completions, completions Direktname; Kontext im Repo nicht explizit dokumentiert
glm-4.7 GWDG chat/completions Direktname; extern gehostet
qwen3.5-397b-a17b GWDG chat/completions Direktname; extern gehostet
mistral-large-3-675b-instruct-2512 GWDG chat/completions Direktname; extern gehostet
qwen3-vl-8b THL chat/completions 40.960 Kontext, max. 2 Bilder
gemma4-31b THL chat/completions 131.072 Kontext, max. 4 Bilder
gemma4-e2b THL chat/completions 131.072 Kontext, max. 4 Bilder
qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder

Embeddings

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
qwen3-embedding-4b qwen3-embedding-4b THL embeddings TEI-kompatibel; max-batch-tokens=65536, max-client-batch-size=64

Die Embedding-Modelle können mit der OpenAI-Bibliothek genutzt werden. Wichtig ist auch hier nur der Modell-Parameter; die Proxy-URL bleibt in dieser Wiki-Seite bewusst verborgen.

from openai import OpenAI

client = OpenAI(
    base_url="<Modell-Proxy>/v1",
    api_key="ignored",
)

result = client.embeddings.create(
    model="qwen3-embedding-4b",
    input="Beispieltext",
)

Kurzhinweise

  • chat-default und chat-medium zeigen auf dasselbe Zielmodell.
  • chat-small ist unser Chat-VL-Alias für das kleinere Vision-Modell.
  • Nicht-LLM-Modelle wie OCR, Audio und Bildmodelle stehen auf der Seite Andere Modelle (Image Audio etc).md.
nach oben