LLM Proxy Nutzungshinweise

Diese Seite enthält Hinweise zur direkten API-Nutzung des LLM Proxy. Weitere Informationen zu LiteLLM finden Sie in der offiziellen LiteLLM-Dokumentation.

Direkte API-Nutzung

Für die direkte Nutzung benötigen Sie einen gültigen API-Key. In den folgenden Beispielen steht $API_KEY für Ihren persönlichen API-Key im Format sk-....

API-Key setzen

Behandeln Sie den API-Key wie ein Passwort. Geben Sie ihn nicht weiter und speichern Sie ihn nicht in öffentlich zugänglichen Dateien, Tickets, Chatverläufen oder Code-Repositories.

Eine Möglichkeit, den API-Key in der BASH Shell zu setzen, ohne ihn direkt in der History zu speichern:

export API_KEY=$(cat)

Anschließend den Key einfügen und die Eingabe mit Strg+D beenden.

Modelle auflisten

Mit dem Models-Endpoint können alle aktuell verfügbaren Modelle abgerufen werden:

curl llm.ki.ks.rz.uni-potsdam.de/models \  -H "Authorization: Bearer $API_KEY" | jq .

Hinweis: die verfügbaren Modelle können sich ändern.

Endpoints

Es folgt eine Auswahl wichtiger Endpoints für Text- und Bildgenerierung (siehe https://docs.litellm.ai/docs/supported_endpoints).

/chat/completions

Endpoint zur Textgenerierung im OpenAI-kompatiblen Chat-Completions-Format (siehe https://docs.litellm.ai/docs/completion). Eingabeparameter sind unter anderem model und eine Liste von Chatnachrichten im Feld messages.

/responses

Endpoint zur Textgenerierung im OpenAI-kompatiblen Responses-Format (siehe https://docs.litellm.ai/docs/response_api). Der Endpoint eignet sich, wenn Anwendungen oder Skripte die Responses API nutzen.

/messages

Endpoint zur Textgenerierung im Anthropic-kompatiblen Messages-Format (siehe https://docs.litellm.ai/docs/anthropic_unified/). Der Request ist an das Anthropic-Format angelehnt und nutzt unter anderem model, messages und je nach Modell weitere Parameter wie max_tokens.

/images/generations

Endpoint zur Bildgenerierung. Der Request enthält mindestens einen Prompt und ein geeignetes Modell zur Bildgenerierung (siehe https://docs.litellm.ai/docs/image_generation). Bitte beachten Sie hierbei insbesondere Urheberrechte, Persönlichkeitsrechte und Datenschutzvorgaben.

Hinweise und Einschränkungen

Bitte beachten Sie bei der Nutzung des LLM Proxy die geltenden Nutzungshinweise, Datenschutzvorgaben und Hinweise zum EU AI Act.

Wichtig ist insbesondere:

• API-Keys sind persönlich und dürfen nicht weitergegeben werden.
• Personenbezogene oder vertrauliche Daten dürfen nur verarbeitet werden, wenn dies nach den geltenden Vorgaben zulässig ist.
• Modellantworten können fehlerhaft oder unvollständig sein und müssen fachlich geprüft werden.
• Die Verfügbarkeit einzelner Modelle und Parameter kann sich ändern.
• Je nach Modell oder Endpoint können Einschränkungen bei Tokenumfang, Antwortformaten oder Nutzungskontingenten bestehen.