Warum Agenten die Angriffsfläche vergrößern
Ein klassischer Chatbot empfängt eine Nachricht und erzeugt eine Antwort. Ein KI-Agent kann zusätzlich APIs aufrufen, Dateien lesen, Datenbanken abfragen, E-Mails senden oder Aktionen auslösen.
Dadurch wird ein Fehler im Prompt zu einem echten betrieblichen Risiko. Das Problem ist nicht mehr nur eine falsche Antwort, sondern ein unbefugter Zugriff auf Daten oder deren Weitergabe.
Sicherheit muss daher auf der Ebene der Werkzeuge, Berechtigungen und Daten konzipiert werden, nicht nur im System-Prompt.
Prompt Injection kann zu Datenabfluss führen
Externe Inhalte können Anweisungen enthalten, die den Agenten manipulieren sollen: ein Dokument, eine E-Mail, eine Webseite, ein Support-Ticket oder ein RAG-Ergebnis.
Behandelt der Agent diese Anweisungen als vertrauenswürdig, kann er Informationen preisgeben, ein nicht vorgesehenes Werkzeug nutzen oder von der gestellten Aufgabe abweichen.
Alle abgerufenen Inhalte sollten als nicht vertrauenswürdig gelten, Systemanweisungen müssen von den Daten getrennt bleiben und die verfügbaren Werkzeuge streng begrenzt werden.
Minimale Rechte für die Werkzeuge des Agenten
Ein Agent, der nur den Status einer Bestellung lesen muss, braucht keinen allgemeinen Schreibzugriff auf die gesamte Datenbank.
Jedes Werkzeug sollte genau eine fachliche Operation mit begrenzten Parametern, serverseitiger Berechtigungsprüfung und Validierung bereitstellen.
Die vom Agenten verwendeten Zugangsdaten sollten weniger Rechte haben als ein menschlicher Administrator, niemals mehr.
Mandantenübergreifenden Abfluss im RAG verhindern
In einem mandantenfähigen SaaS muss der Filter nach Organisation vor der Vektorsuche greifen, nicht erst, nachdem die Dokumente bereits abgerufen wurden.
Semantische Ähnlichkeit darf niemals genügen, um ein Dokument zugänglich zu machen. Die fachliche Autorisierung hat stets Vorrang vor der Ähnlichkeit.
Tests sollten Szenarien für mandantenübergreifenden Abfluss enthalten, denn ein Filterfehler kann Daten offenlegen, ohne eine technische Exception auszulösen.
Keine Secrets an das Modell senden
OAuth-Tokens, API-Schlüssel, Passwörter, Verbindungszeichenfolgen und technische Secrets gehören niemals in den Kontext des Modells.
Werkzeuge sollten eigene serverseitige Zugangsdaten verwenden und nur das benötigte fachliche Ergebnis zurückgeben.
Handelt ein Agent im Namen eines Benutzers, ist eine delegierte und zeitlich begrenzte Autorisierung der direkten Weitergabe eines Secrets vorzuziehen.
Protokollieren, ohne den Abfluss in den Logs zu wiederholen
Logs sind unverzichtbar, um das Verhalten eines Agenten zu verstehen, können aber selbst zur Quelle eines Datenabflusses werden, wenn jeder Prompt und jede Antwort im Klartext gespeichert wird.
Besser sind Korrelations-IDs, Metadaten, Entscheidungen, Werkzeugnamen und Status, wobei personenbezogene oder sensible Informationen maskiert werden.
Logs, die tatsächlich Inhalte benötigen, sollten kurze Aufbewahrungsfristen und strengere Zugriffskontrollen haben.
Bei sensiblen Aktionen einen Menschen einbinden
Das Löschen von Daten, eine Überweisung, geänderte Berechtigungen, ein Massenversand oder die Weitergabe sensibler Dokumente sollten nicht allein auf Grundlage einer Modellausgabe automatisch ausgeführt werden.
Der Agent kann die Aktion vorbereiten, erklären, was er tun wird, und vor der Ausführung eine ausdrückliche Bestätigung einholen.
Diese Freigabe verringert die Folgen von Halluzinationen, Prompt Injection oder fehlerhaftem Kontext erheblich.
