Das LLM als externe Abhängigkeit behandeln
Ein LLM-Aufruf sollte wie jeder externe Dienst gekapselt werden: Timeout, Fehlerbehandlung, Mengenbegrenzung und Fallback-Verhalten.
Die Fachlogik darf nicht von Freitext abhängen, der sich nicht validieren lässt. Strukturierte Ausgaben verringern die Fehleranfälligkeit deutlich.
Der KI-Dienst sollte hinter einer klaren Schnittstelle bleiben, damit der Rest des Backends nicht direkt an das SDK eines Anbieters gekoppelt ist.
Ausgaben vor der Verwendung validieren
Auch wenn ein Modell JSON zurückgibt, sollte das Backend diese Ausgabe bis zur Validierung als nicht vertrauenswürdig betrachten.
Schemas, Constraints, Enums, Maximallängen und Pflichtfelder sollten genau wie bei jeder externen Anfrage geprüft werden.
Eine ungültige Ausgabe sollte einen kontrollierten Wiederholungsversuch, einen Fallback oder eine menschliche Freigabe auslösen, niemals eine stille Speicherung.
Übermittelte Daten minimieren
Die Backend-Schicht sollte nur die für den Anwendungsfall nötigen Informationen auswählen und sensible Daten wann immer möglich maskieren.
Dieser Ansatz senkt gleichzeitig das Sicherheitsrisiko, die Kosten der Aufrufe und die Komplexität der Governance.
Interne Kennungen, Tokens, Secrets und Felder ohne Bezug zur Aufgabe sollten standardmäßig nie in Prompts landen.
Timeouts, Wiederholungen und Circuit Breaker steuern
Ein KI-Anbieter kann langsamer werden, Anfragen drosseln oder vorübergehend nicht erreichbar sein. Das Backend sollte kurze Timeouts und begrenzte Wiederholungsstrategien verwenden.
Ein Circuit Breaker verhindert, dass sich Threads oder Anfragen stauen, wenn ein externer Dienst bereits ausfällt.
Nicht interaktive Verarbeitung kann in eine Warteschlange oder einen asynchronen Worker verlagert werden, um die Antwortzeiten der Haupt-APIs zu schützen.
Kosten, Latenz und Qualität messen
Jeder wichtige KI-Aufruf sollte Metriken liefern: Modell, Dauer, ungefähre Tokenzahl, Status und Art der Aufgabe.
Diese Metriken helfen, Kostenabweichungen, Performance-Einbußen und unerwartete Nutzung zu erkennen.
Auch die Qualität sollte anhand repräsentativer Testfälle überwacht werden statt nach gelegentlichen Eindrücken.
