Allgemeines
Wir hosten generative KI KI-Modelle für Lehre, Forschung und Transfer.
Für die Dauer des Projekts HI-Lübeck (Innovative Hochschule) hostenbetreiben wir diese Modelle als Teil der Campus-Plattform für Transferzwecke ohne Zugangsbeschränkungen.Zugangsbeschränkung. WirDamit wollen damitwir Innovationen im Bereich der DigitaliserungDigitalisierung und der Nutzung von Generativergenerativer KI auf dem Hanse-Innovation-Campus fördern.
Betriebsprinzipien:
- Wir betreiben
allediehieröffentlichaufgeführtendokumentiertengenerativen KI-Modelle auf Servern auf dem Campus der TH-Lübeck.Lübeck oder bei externen Partnern über den Modell-Proxy.- Wir speichern
dieverarbeiteteverarbeiteten DatenInhalte nicht dauerhaft und verwenden sie nicht für interne Zwecke.- Wir speichern generierte Daten nur für die Dauer der
VerarbeitungVerarbeitung, einschließlichderdirektinanschließendertransaktionalerProzesseKausalitätwieanschließenden Verarbeitungsprozesse (z.B.ein Download eines generiertenBildes nach dessen Generierung).Bildes.- Wir protokollieren nur
DatenmengenMengen-(z.B.undAnzahl der Requests, Anzahl der Token),Betriebsdaten, aber keineDateninhalte (z.B. verarbeiteter Text, der in ein Sprachmodell einfließt,Eingabe- odergenerierter Text, der von einem Sprachmodell generiert wird).Ausgabedateninhalte.AlleDie hier genannten KI-Modelledürfensind nicht für kommerzielle Dienstleistungenverwendet werden (sie dienen ausschließlich der explorativen Analyse potenzieller Anwendungsfälle und sonstiger betrieblicher Fragestellungen).vorgesehen.
Wartungsfenster
NEU Jeweils am 2. Donnerstag eines Monats werden ab 20 Uhr die Systeme des myLab aktualisiert.
Auch die hier genannten Modelle können davon betroffen sein und sind daher ggf. in diesen Zeiträumen nicht erreichbar! {.is-warning}
NewsletterModellübersichten
Die
IneigentlichenunseremModelltabellenChatbotliegenKIRA findet ihr das Anmeldeformular fürin denNewsletter:chat.kira.th-luebeck.devWir informieren euch dann per Mail, wenn wir an den gehosteten Modellen etwas ändern.
Large LanguageDetailseiten und Embeddingsind dort nach Aliasen, Zielmodellen und Host-Typen aufgeteilt.
LLMs_+_Embedding_Modelle.md – Chat-Modelle, Vision-Modelle und Embeddings
Andere Modelle (Image Audio etc).md – Audio, OCR und Bildmodelle
OpenAI-kompatibler Modell-Proxy
Wir hostenstellen verschiedeneeine Language Models. Für Details siehe LLM-Übersicht
Unser ChatBot KIRA läuft bspw. auf Llama3 70B.
Andere Modelle (Audio, Images)
Wir hosten auch andere Modelle, z.B. für Sprach- und Bildgenerierung.
Für Details siehe Andere Modelle
openAI ClientOpenAI-kompatible API (Beta)
bereit. Wir hosten ab sofort eine OpenAI Client kompatible API.
DieseSie befindet sich nochweiterhin im regulären Betrieb, die konkreten Modelle und Limits stehen jedoch ausschließlich in derden Erprobung und es kann entsprechend zu Ausfällen kommen.
Erreichbar ist diese unter models.mylab.th-luebeck.dev
Über die API sind alle unsere LLMs und auch weitere Modelle erreichbar.Detailseiten.
Bei der Verwendung des
openAIOpenAI-Clientsz.B. in Pythonmuss diebase_urlaufdenhttps://models.mylab.th-luebeck.dev/v1gesetztModell-Proxywerden.zeigen; der API-Key kann ein Dummy-Wert sein.
EineDie Übersichtwichtigsten allerNutzungsregeln:
model Zielmodell.
Schnellnavigation
Chat-VLAudio, OCR und Bilder:
Alleundnicht-LLMEmbeddings:LLMs_+_Embedding_Modelle.md
Andere Modelle müssen(Image derzeitAudio alsetc).md
Übersicht der verfügbaren Modelle
Die Verwendung der gelisteten Endpunkte kann der regulären openAI
Dokumentation entnommen werden.