LLM Proxy Nutzungshinweise

Diese Seite enthält Hinweise zur direkten API-Nutzung des LLM Proxy. Weitere Informationen zu LiteLLM finden Sie in der offiziellen LiteLLM-Dokumentation.

Direkte API-Nutzung

Für die direkte Nutzung benötigen Sie einen gültigen API-Key. In den folgenden Beispielen steht $API_KEY für Ihren persönlichen API-Key im Format sk-....

API-Key setzen

Behandeln Sie den API-Key wie ein Passwort. Geben Sie ihn nicht weiter und speichern Sie ihn nicht in öffentlich zugänglichen Dateien, Tickets, Chatverläufen oder Code-Repositories. Ausnahme: Zur Nutzung durch Studierende und in Lehrveranstaltungen können Mitarbeitende API-Keys erzeugen und in geschütztem Rahmen weitergeben.

Eine Möglichkeit, den API-Key in der BASH Shell zu setzen, ohne ihn direkt in der History zu speichern:

export API_KEY=$(cat)

Anschließend den Key einfügen und die Eingabe mit Strg+D beenden.

Modelle auflisten

Mit dem Models-Endpoint können alle aktuell verfügbaren Modelle abgerufen werden:

curl https://llm.ki.k8s.rz.uni-potsdam.de/models \  -H "Authorization: Bearer $API_KEY" | jq .

Hinweis: die verfügbaren Modelle können sich ändern.

Endpoints

Es folgt eine Auswahl wichtiger Endpoints für Text- und Bildgenerierung (siehe https://docs.litellm.ai/docs/supported_endpoints).

/chat/completions

Endpoint zur Textgenerierung im OpenAI-kompatiblen Chat-Completions-Format (siehe https://docs.litellm.ai/docs/completion). Eingabeparameter sind unter anderem model und eine Liste von Chatnachrichten im Feld messages.

/responses

Endpoint zur Textgenerierung im OpenAI-kompatiblen Responses-Format (siehe https://docs.litellm.ai/docs/response_api). Der Endpoint eignet sich, wenn Anwendungen oder Skripte die Responses API nutzen.

/messages

Endpoint zur Textgenerierung im Anthropic-kompatiblen Messages-Format (siehe https://docs.litellm.ai/docs/anthropic_unified/). Der Request ist an das Anthropic-Format angelehnt und nutzt unter anderem model, messages und je nach Modell weitere Parameter wie max_tokens.

/images/generations

Endpoint zur Bildgenerierung. Der Request enthält mindestens einen Prompt und ein geeignetes Modell zur Bildgenerierung (siehe https://docs.litellm.ai/docs/image_generation). Bitte beachten Sie hierbei insbesondere Urheberrechte, Persönlichkeitsrechte und Datenschutzvorgaben.

Hinweis zur Nutzung mit KI-Coding-Agenten

Codex

Diese Hinweise gelten für die Verwendung von OpenAI Codex in Verbindung mit gpt-5.1-codex-max.

1. Das Suchwerkzeug wird abgelehnt: “Tool 'tool_search' is not supported with gpt-5.1-codex-max-2025-12-04”. Lösung: Der Client darf es dem Modell nicht anbieten.

2. text.verbosity akzeptiert nur “medium” (Fehlermeldung: "Unsupported value: 'low' ... Supported values are: 'medium'")

Hinweise und Einschränkungen

Bitte beachten Sie bei der Nutzung des LLM Proxy die geltenden Nutzungshinweise, Datenschutzvorgaben und Hinweise zum EU AI Act.

Wichtig ist insbesondere:

• Personenbezogene oder vertrauliche Daten dürfen nur verarbeitet werden, wenn dies nach den geltenden Vorgaben zulässig ist.
• Modellantworten können fehlerhaft oder unvollständig sein und müssen fachlich geprüft werden.
• Die Verfügbarkeit einzelner Modelle und Parameter kann sich ändern.
• Je nach Modell oder Endpoint können Einschränkungen bei Tokenumfang, Antwortformaten oder Nutzungskontingenten bestehen.