LLMs
Large Language Modelle
Wir hosten die folgenden LLMs und Text Embedding Modelle für Lehre, Forschung und Transfer unter den unten stehenden Endpunkten.
LLMs werden mittels des Text Generation Inference (TGI) Interfaces von HuggingFace bzw. vLLM bereitgestellt. Ab TGI Version >1.4.0 sind alle Modelle, die ein entsprechendes Chat-Template in der jeweiligen tokenizer_config.json-Datei gesetzt haben, mit den OpenAI API Packages kompatibel (siehe hier). Wir haben diese Modelle in der Tabelle entsprechend ausgewiesen.
Unser ChatBot KIRA läuft bspw. auf Llama3 70B.
Nutzung vordefinierter URLs
Hinter diesen URLs liegen von uns ausgewählte LLMs. Diese können auch kurzfristig geändert werden. Alle LLMs sind mit der Chat-API von OpenAI kompatibel. Mehr Details zu den einzelnen Modellen finden sich in der Tabelle unten.
Nutzung spezifischer Modelle
Die LLMs hinter diesen URLs können sich kurzfristig ändern oder - sofern kein Enddatum angegeben ist - aus der Nutzung gehen. Eine Garantie für eine langfrsitige Möglichkeit zur Nutzung geben wir hierfür nicht.
Bei der Verwendung des OpenAI Clients z.B. in Python muss die
base_urlaufhttps://models.mylab.th-luebeck.dev/v1gesetzt werden.
Beta-Preview
Die hier genannten Modelle befinden sich noch in einer Erprobungsphase und können jederzeit geändert oder abgeschalten werden. Wir bieten aber bereits vorab die Möglichkeit diese Varianten zu testen, damit Umstellungen beim EOL der regulären Modelle reibungslos verlaufen.
Die aufgeführten Modelle können bspw. mit dem Python Modul text-generation oder auch mit LangChain unter Nutzung des Moduls langchain-community und dessen HuggingFace Anbindung genutzt werden.
Text Embedding Modelle
Wir wählen unsere Embedding Modelle aus dem MTEB Leaderboard aus. Kritierien sind:
- Geringer Speicherbedarf
- TEI-Kompatibilität
- Möglichst großer Token Context
- Multilingualität
- Vergleichbare oder bessere Leistung wie die OpenAI Embeddings (text-embedding-ada-002, text-embedding-3-small)
- Möglichst wenig unterschiedliche Embedding Modelle zu betreiben (Präferenz von General Purpose Embeddings)
Embeddings werden mittels des Text Embeddings Inference (TEI) Interfaces von HuggingFace bereitgestellt.
Die aufgeführten Modelle können bspw. mit der OpenAI Bibliothek genutzt werden.
# Installation der Abhängigkeiten
pip install openai
import openai
# Prepare OpenAI client
client = openai.OpenAI(
api_key="ignored"
base_url="https://models.mylab.th-luebeck.dev/v1"
)
# Embed the query
embeddings = client.embeddings.create(input=query, model="bge-m3")
Tutorials
Wir bieten das folgende Tutorial an, wie unsere LLMs genutzt werden können.
- Tutorial zur Nutzung (Text-to-Text, Text-to-Vector (Embedding), Text-to-Speech, Spech-to-Text, Text-to-Image, Image-to-Text)
Für das Tutorial wird ein JupyterHub Account benötigt.
Nutzung der OpenAI Completions API
Seit TGI Version 1.4 und TEI Version 1.0 ist es auch möglich unsere LLM-Modelle über das Standard openai Modul anzusprechen. Man muss dazu nur den Endpunkt angeben und einen "Dummy API-Key" angeben.
Wir verweisen auf die offzielle OpenAI Dokumentation zur Nutzung des openai-Moduls. Das folgende Beispiel zeigt nur die Anbindung an unsere Endpunkte.
# File: test.py
from openai import OpenAI
client = OpenAI(
base_url="https://models.mylab.th-luebeck.dev/v1",
api_key="ignored"
)
chat_completion = client.chat.completions.create(
model="llama-33-70b",
messages=[
{"role": "system", "content": "You are a helpful assistant." },
{"role": "user", "content": "What is deep learning?"}
],
stream=True,
max_tokens=1024
)
# iterate and print stream
for message in chat_completion:
if not message.choices[0].finish_reason:
print(message.choices[0].delta.content, end='')
Um den Streaming-Effekt zu sehen, muss das Skript im unbuffered Mode (also mit aktiviertem ˚-u˚ Schalter) ausgeführt werden, d.h. wie folgt:
pip install openai
python -u test.py