Direkt zum Hauptinhalt

LLMs & Embedding Modelle

Large Language Modelle und Embeddings

Wir stellen eine OpenAI-kompatible Modelloberfläche bereit. Auf dieser Seite stehen bewusst nur die Informationen, die Nutzer direkt brauchen: der Model-Parameter für den Client, das tatsächlich dahinterliegende Zielmodell, der Host-Typ myLab THL | GWDG und die wichtigsten Limits.

Setze im OpenAI-Client die base_url auf den Modell-Proxy https://models.mylab.th-luebeck.dev/v1 und verwende einen Dummy-API-Key (nicht leer).

Hinweis GWDG:

Einige der Modelle hosten wir nicht mehr selbst, sondern leiten an das GWDG weiter. Die Abrechnung übernehmen wir. Dokumentation dazu seitens des GWDG findet sich hier. Die Modelle sind in den Tabellen unten entsprechend gekennzeichnet.

Achtung: Wir haben sehr restriktive Rate-Limits für die gesamte Hochschule erhalten. Es kann daher sein, dass gerade bei vielen Anfragen (auch von anderen Personen) Fehler von der API zurückkommen. Die Rate-Limits sind:

  • Sekunde: 2 Requests
  • Minute: 15 Requests
  • Stunde: 900 Requests
  • Tag: 21k Requests
  • Monat: 350k Requests

Chat generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
chat-fast gemma4-e4b THL chat/completions Kontext 131K, max. 4 Bilder
chat-small qwen3.5-27b GWDG chat/completions Kontext 256K
chat-default gpt-oss-120b GWDG chat/completions, completions Standardalias; beide Chat-Endpunkte vorhanden
chat-medium gpt-oss-120b GWDG chat/completions, completions Gleiche Backend-Zuordnung wie chat-default
chat-large glm-4.7 GWDG chat/completions Größerer Chat-Alias
chat-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Größter Chat-Alias in der GWDG-Gruppe

Chat-VL generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
chat-vl-fast gemma4-e4b THL chat/completions Kontext 131K, max. 4 Bilder
chat-vl-small qwen3.5-27b GWDG chat/completions Extern gehostet, Kontext 256K, multimodal
chat-vl-medium gemma4-31b THL chat/completions, completions Kontext 262k, max. 4 Bilder
chat-vl-large qwen3.5-397b-a17b GWDG chat/completions Extern gehostet, multimodal
chat-vl-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Extern gehostet, multimodal

Andere generische Aliasse

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
coder-small qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder
coder-large glm-4.7 GWDG chat/completions Extern gehostet

Explizite Modellnamen

Modellname myLab THL | GWDG API Hinweise
gpt-oss-120b GWDG chat/completions, completions Direktname; Kontext im Repo nicht explizit dokumentiert
glm-4.7 GWDG chat/completions Direktname; extern gehostet
qwen3.5-397b-a17b GWDG chat/completions Direktname; extern gehostet
mistral-large-3 GWDG chat/completions Direktname; extern gehostet
gemma4-31b THL chat/completions 262.144 Kontext, max. 4 Bilder
gemma4-e4b THL chat/completions 131.072 Kontext, max. 4 Bilder
qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder

Embeddings

Modellparameter Zielmodell myLab THL | GWDG API Hinweise
qwen3-embedding-4b qwen3-embedding-4b THL embeddings 65.536 max. Token, max Client Batch Size: 64
qwen3-vl-embedding-8b qwen3-vl-embedding-8b THL embeddings 65.536 max. Token

Die Embedding-Modelle können mit der OpenAI-Bibliothek genutzt werden. Wichtig ist auch hier nur der Modell-Parameter; die Proxy-URL bleibt in dieser Wiki-Seite bewusst verborgen.

from openai import OpenAI

client = OpenAI(
    base_url="<Modell-Proxy>/v1",
    api_key="ignored",
)

result = client.embeddings.create(
    model="qwen3-embedding-4b",
    input="Beispieltext",
)

Kurzhinweise

  • chat-default und chat-medium zeigen auf dasselbe Zielmodell.
  • chat-small ist unser Chat-VL-Alias für das kleinere Vision-Modell.
  • Nicht-LLM-Modelle wie OCR, Audio und Bildmodelle stehen auf der Seite Andere Modelle (Image Audio etc).md.
nach oben