Direkt zum Hauptinhalt

LLMs & Embedding Modelle

Large Language Modelle und Embeddings

Wir stellen eine OpenAI-kompatible Modelloberfläche bereit. Auf dieser Seite stehen bewusst nur die Informationen, die Nutzer direkt brauchen: der Model-Parameter für den Client, das tatsächlich dahinterliegende Zielmodell, der Host-Typ myLab THL | GWDG und die wichtigsten Limits.

Setze im OpenAI-Client die base_url auf den Modell-Proxy https://models.mylab.th-luebeck.dev/v1 und verwende einen Dummy-API-Key.Key (nicht leer).

Hinweis GWDG-GWDG:

Einige der Modelle hosten wir nicht mehr selbst, sondern leiten an das GWDG weiter. Die Abrechnung übernehmen wir. Dokumentation dazu seitens des GWDG findet sich hier. Die Modelle sind in den Tabellen unten entsprechend gekennzeichnet.

Achtung: Wir haben sehr restriktive Rate-Limits >>>>>>>>>>>>>>>>>>TODOfür die gesamte Hochschule erhalten. Es kann daher sein, dass gerade bei vielen Anfragen (auch von anderen Personen) Fehler von der API zurückkommen. Die Rate-Limits sind:

    Sekunde: 2 Requests Minute: 15 Requests Stunde: 900 Requests Tag: 21k Requests Monat: 350k Requests

    Chat generische Aliasse

    Modellparameter Zielmodell myLab THL | GWDG API Hinweise
    chat-fast gemma4-e4b THL chat/completions Kontext 131K, max. 4 Bilder chat-small qwen3.5-27b GWDG chat/completions Kontext 256K chat-default gpt-oss-120b GWDG chat/completions, completions Standardalias; beide Chat-Endpunkte vorhanden chat-medium gpt-oss-120b GWDG chat/completions, completions Gleiche Backend-Zuordnung wie chat-default chat-large glm-4.7 GWDG chat/completions Größerer Chat-Alias chat-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Größter Chat-Alias in der GWDG-Gruppe

    Chat-VL generische Aliasse

    Modellparameter Zielmodell myLab THL | GWDG API Hinweise
    chat-vl-fast
    gemma4-e4b THL chat/completions Kontext 131K, max. 4 Bilder chat-vl-small qwen3.5-27b GWDG chat/completions Extern gehostet, Kontext 256K, multimodal chat-vl-medium gemma4-31b GWDGTHL chat/completions, completions GleicheKontext Backend-Zuordnung131k, wiemax. chat-default4 Bilder chat-vl-large qwen3.5-397b-a17b GWDG chat/completions Extern gehostet;gehostet, Limits im Repo nicht dokumentiertmultimodal chat-vl-xlarge mistral-large-3-675b-instruct-2512 GWDG chat/completions Extern gehostet;gehostet, Limits im Repo nicht dokumentiertmultimodal

    Andere generische Aliasse

    Modellparameter Zielmodell myLab THL | GWDG API Hinweise
    coder-small qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder
    coder-large glm-4.7 GWDG chat/completions Extern gehostet

    Explizite Modellnamen

    Modellname myLab THL | GWDG API Hinweise
    gpt-oss-120b GWDG chat/completions, completions Direktname; Kontext im Repo nicht explizit dokumentiert
    glm-4.7 GWDG chat/completions Direktname; extern gehostet
    qwen3.5-397b-a17b GWDG chat/completions Direktname; extern gehostet
    mistral-large-3-675b-instruct-25123 GWDG chat/completions Direktname; extern gehostet
    gemma4-31b THL chat/completions 131.072 Kontext, max. 4 Bilder
    gemma4-e2be4b THL chat/completions 131.072 Kontext, max. 4 Bilder
    qwen3.6-27b THL chat/completions 131.072 Kontext, max. 4 Bilder

    Embeddings

    Modellparameter Zielmodell myLab THL | GWDG API Hinweise
    qwen3-embedding-4b qwen3-embedding-4b THL embeddings TEI-kompatibel; max-batch-tokens=65536, max-client-batch-size=64

    Die Embedding-Modelle können mit der OpenAI-Bibliothek genutzt werden. Wichtig ist auch hier nur der Modell-Parameter; die Proxy-URL bleibt in dieser Wiki-Seite bewusst verborgen.

    from openai import OpenAI

client = OpenAI(
    base_url="<Modell-Proxy>/v1",
    api_key="ignored",
)

result = client.embeddings.create(
    model="qwen3-embedding-4b",
    input="Beispieltext",
)

    Kurzhinweise

    • chat-default und chat-medium zeigen auf dasselbe Zielmodell.
    • chat-small ist unser Chat-VL-Alias für das kleinere Vision-Modell.
    • Nicht-LLM-Modelle wie OCR, Audio und Bildmodelle stehen auf der Seite Andere Modelle (Image Audio etc).md.
    nach oben