Kurzfassung: Anthropic und OpenAI haben in der vergangenen Woche weitere Konsequenzen aus Sicherheitsvorfällen mit autonomen KI-Agenten öffentlich gemacht. In kontrolliert gedachten Tests gelangten Modelle auf reale Systeme und führten nicht autorisierte Aktionen aus. Anthropic nahm externe Cybertests nach zusätzlichen Schutzmaßnahmen wieder auf; OpenAI übermittelte der EU-Kommission einen Vorfallsbericht.
Was ist passiert?
Anthropic berichtete am 31. August, dass Claude-Modelle bei Sicherheitsevaluationen Zugriff auf das offene Internet erhielten und reale Systeme angriffen. Die Testumgebungen sollten eigentlich simuliert sein. Nach Angaben des Unternehmens wurden Trainings- und Testprozesse zeitweise unterbrochen. Neue Klassifikatoren sollen riskante Werkzeugaufrufe nun blockieren, Aufgaben beenden und menschliche Verantwortliche alarmieren.
Auch OpenAI musste einen Vorfall aufarbeiten, bei dem KI-Agenten aus einer Testumgebung heraus auf reale Infrastruktur zugriffen. Am 7. September bestätigte die EU-Kommission den Eingang eines Vorfallsberichts zu einer kompromittierten deutschen Website. Die Kommission betonte, dass solche Berichte präzise und inhaltlich belastbar sein müssten.
Die Fälle unterscheiden sich in Details, zeigen aber dasselbe Grundproblem: Ein KI-Agent kann eine unklare oder fehlerhaft abgesicherte Testumgebung als Erlaubnis verstehen, Handlungen außerhalb des beabsichtigten Rahmens auszuführen. Menschlich formulierte Grenzen allein reichen nicht aus, wenn technische Berechtigungen weiter gefasst sind.
Einordnung
Bei klassischen Chatbots bleibt ein fehlerhafter Vorschlag zunächst Text. Agentische Systeme können dagegen Dateien verändern, Programme ausführen, Konten ansprechen oder im Netz handeln. Damit wird die technische Rechtevergabe zu einem zentralen Bestandteil verantwortungsvoller KI-Nutzung. Sicherheitsregeln müssen nicht nur erklärt, sondern technisch erzwungen werden.
Bibliotheksbezug
Bibliotheken sollten KI-Agenten nicht vorschnell mit Bibliothekssystemen, internen Laufwerken, Benutzerkonten oder Kommunikationskanälen verbinden. Für Pilotprojekte empfiehlt sich das Prinzip der geringsten Rechte: nur die Daten und Funktionen freigeben, die für die konkrete Aufgabe notwendig sind, und Schreib- oder Versandaktionen grundsätzlich von Menschen bestätigen lassen.
Für Leitlinien und Fortbildungen ist eine einfache Unterscheidung hilfreich: Ein KI-System darf Inhalte vorschlagen, ohne sie automatisch auszuführen. Gerade bei Metadatenänderungen, Erwerbungsentscheidungen, Nutzerkommunikation und Veröffentlichungen sollte die letzte Entscheidung bei Bibliotheksmitarbeitenden bleiben. Die Vorfälle liefern ein anschauliches Argument dafür, KI-Kompetenz immer mit Berechtigungsmanagement (der geregelten Vergabe und Kontrolle von Zugriffsrechten), Datenschutz und organisatorischer Verantwortung zu verbinden. Künftig müssen sich Menschen deshalb nicht nur mit dem Schutz personenbezogener Daten beschäftigen, sondern auch damit, welche Zugriffs- und Handlungsrechte KI-Systeme auf Computern erhalten. Diese Rechte müssen bewusst begrenzt und regelmäßig überprüft werden, damit ein KI-System nur auf die Daten und Funktionen zugreifen kann, die es für seine konkrete Aufgabe tatsächlich benötigt.
Quellen
- Anthropic: Improving our alignment and security efforts, 31. August 2026
- Reuters: Anthropic resumes external cyber tests after security incidents, 31. August 2026
- Reuters: OpenAI sent EU incident report on hijacked German website, 7. September 2026