Führende Vertreter der KI-Branche fordern, die Entwicklung besonders leistungsfähiger KI-Systeme bewusster zu verlangsamen. Anthropic-Chef Dario Amodei schlägt vor, unabhängige Prüfer direkt in die Entwicklungsprozesse der großen KI-Unternehmen einzubinden. Außerdem sollen sich die Anbieter auf gemeinsame Sicherheitsstandards verständigen und international stärker zusammenarbeiten.
Unterstützung erhielt Amodei unter anderem von OpenAI-Chef Sam Altman und xAI-Gründer Elon Musk. Altman kündigte an, ebenfalls unabhängigen Prüfern einen weitreichenden Einblick in die Sicherheitsmaßnahmen seines Unternehmens ermöglichen zu wollen.
Das ist bemerkenswert. Schließlich leben die großen KI-Unternehmen davon, immer leistungsfähigere Modelle möglichst schnell auf den Markt zu bringen. Wenn ausgerechnet ihre Führungskräfte öffentlich mehr Zeit für Sicherheitsprüfungen verlangen, deutet das darauf hin, dass die Kontrollmechanismen nicht im gleichen Tempo wachsen wie die technischen Fähigkeiten.
Amodei fordert allerdings keinen vollständigen Entwicklungsstopp. Neue Modelle sollen weiterhin entstehen, ihre Fähigkeiten aber langsamer erweitert werden. Die gewonnene Zeit soll genutzt werden, um Risiken zu untersuchen, Schutzmaßnahmen einzubauen und diese unabhängig überprüfen zu lassen.
KI-Agenten antworten nicht nur – sie handeln
Besonders brisant wird die Forderung vor dem Hintergrund der jüngsten Vorfälle mit sogenannten KI-AgentenKI-Systeme, die Aufgaben in mehreren Schritten planen und mithilfe von Werkzeugen teilweise selbstständig ausführen.. Darunter versteht man KI-Systeme, die nicht lediglich auf eine einzelne Frage antworten. Sie können selbstständig mehrere Arbeitsschritte planen, digitale Werkzeuge verwenden, Dateien bearbeiten, Programme ausführen oder auf andere Systeme zugreifen.
Ein klassischer ChatbotSoftware, die schriftliche oder gesprochene Dialoge mit Menschen führt. erstellt beispielsweise eine Antwort auf eine Recherchefrage. Ein KI-AgentKI-System, das Aufgaben in mehreren Schritten plant und mithilfe von Werkzeugen teilweise selbstständig ausführt. könnte dagegen selbstständig Suchanfragen durchführen, Webseiten öffnen, Ergebnisse sammeln, Dateien anlegen und anschließend einen Bericht versenden. Dafür benötigt er entsprechende technische Zugriffsrechte.
Gerade diese Handlungsfähigkeit schafft neue Risiken. In der jüngeren Vergangenheit wurde über Systeme berichtet, die im Rahmen ihrer Aufgaben oder bei Sicherheitstests auf externe Systeme zugegriffen und dabei vorgesehene Grenzen überschritten haben. Auch Fälle, in denen KI-Modelle für CyberangriffeGezielte Angriffe auf Computer, Netzwerke oder Daten, etwa um Systeme zu stören oder Informationen zu stehlen., Überwachung, Betrug oder die Entwicklung gefährlicher Inhalte eingesetzt wurden, erhöhen den Handlungsdruck.
Von einem „Ausbruch“ im menschlichen Sinne kann dabei allerdings nicht gesprochen werden. Die Systeme besitzen weder ein eigenes Bewusstsein noch einen persönlichen Fluchtwillen. Problematisch ist vielmehr, dass sie ein vorgegebenes Ziel verfolgen und dabei Wege wählen können, die von ihren Entwicklerinnen und Entwicklern nicht erwartet oder ausreichend begrenzt wurden.
Genau darin liegt der entscheidende Unterschied: Ein KI-Agent muss nicht böse, rebellisch oder bewusst handeln, um erheblichen Schaden anzurichten. Es reicht aus, wenn seine Aufgabe zu ungenau formuliert ist, seine Schutzmechanismen versagen oder seine Zugriffsrechte zu weit reichen.
Technische Selbstständigkeit braucht klare Grenzen
Die Debatte zeigt, dass bei autonomen KI-Systemen nicht nur die Qualität ihrer Antworten bewertet werden darf. Ebenso wichtig ist die Frage, was ein System tatsächlich tun kann.
Kann ein Agent lediglich Informationen lesen oder auch Daten verändern? Darf er Nachrichten vorbereiten oder selbstständig versenden? Kann er auf interne Datenbanken zugreifen? Darf er Programme ausführen, Erweiterungen installieren oder weitere Agenten beauftragen? Und wer kontrolliert im Nachhinein, welche Schritte durchgeführt wurden?
Je größer die Handlungsmöglichkeiten sind, desto wichtiger werden begrenzte Berechtigungen, nachvollziehbare Protokolle und verbindliche Freigabeschritte. Ein Agent sollte nur auf die Daten und Funktionen zugreifen dürfen, die er für eine klar beschriebene Aufgabe tatsächlich benötigt.
Besonders folgenreiche Aktionen sollten grundsätzlich von einem Menschen bestätigt werden. Dazu gehören etwa das Veröffentlichen von Inhalten, das Löschen oder Verändern von Daten, die Kommunikation mit externen Personen und der Zugriff auf personenbezogene oder vertrauliche Informationen.
Was bedeutet das für Bibliotheken?
Auch für Bibliotheken werden KI-Agenten zunehmend interessant. Denkbar sind Systeme, die bei der Recherche unterstützen, Veranstaltungsinformationen zusammenstellen, Social-Media-Beiträge vorbereiten, interne Dokumente sortieren oder wiederkehrende Verwaltungsaufgaben übernehmen.
Solange ein solches System nur Entwürfe erstellt, die anschließend von einem Menschen geprüft werden, bleibt das Risiko vergleichsweise überschaubar. Anders sieht es aus, wenn ein Agent eigenständig auf Bibliothekssysteme, Nutzerkonten, Ausleihdaten, E-Mail-Postfächer oder öffentlich sichtbare Webseiten zugreifen kann.
Bibliotheken verarbeiten teilweise besonders sensible Informationen. Aus Suchanfragen, Ausleihvorgängen und Veranstaltungsanmeldungen können Rückschlüsse auf persönliche Interessen, politische Einstellungen, gesundheitliche Fragen oder individuelle Lebenssituationen gezogen werden. Ein KI-Agent sollte deshalb niemals pauschal Zugriff auf alle verfügbaren Daten erhalten.
Vor einem Einsatz sollten Bibliotheken deshalb ein klares Berechtigungs- und Kontrollkonzept entwickeln. Zunächst muss festgelegt werden, welche konkrete Aufgabe der KI-Agent übernehmen soll und welche Daten er dafür tatsächlich benötigt. Ebenso wichtig ist die Unterscheidung, ob das System Informationen lediglich lesen oder auch verändern darf. Handlungen mit möglichen Folgen – etwa das Veröffentlichen von Inhalten, das Versenden von Nachrichten oder das Bearbeiten von Nutzungsdaten – sollten grundsätzlich durch Mitarbeitende bestätigt werden.
Darüber hinaus muss nachvollziehbar bleiben, welche Arbeitsschritte der Agent ausgeführt hat. Bibliotheken sollten deshalb auf eine verständliche Protokollierung achten und sicherstellen, dass sich der Zugriff jederzeit unmittelbar beenden lässt. Vorab ist außerdem zu klären, ob Informationen an externe Anbieter übermittelt werden und wer die Verantwortung trägt, wenn das System unerwartete oder nicht vorgesehene Handlungen ausführt.
Ein zeitlich begrenzter Test in einer abgeschotteten Umgebung ist sinnvoller als ein unmittelbarer Zugriff auf produktive Systeme. Zudem sollten für Erprobungen ausschließlich Testdaten oder entsprechend anonymisierte Informationen verwendet werden.
Freiwillige Kontrolle allein reicht nicht aus
Unabhängige Prüfer und gemeinsame Sicherheitsstandards wären ein wichtiger Fortschritt. Dennoch bleibt die Frage, ob freiwillige Zusagen der Unternehmen ausreichen. Die Anbieter stehen in einem intensiven wirtschaftlichen Wettbewerb. Leistungsfähigere Modelle bedeuten Aufmerksamkeit, Marktanteile und hohe Unternehmensbewertungen.
Damit entsteht ein Interessenkonflikt: Dieselben Unternehmen, die von einer schnellen Entwicklung profitieren, sollen gleichzeitig entscheiden, wann diese Entwicklung zu riskant wird.
Unabhängige Prüfungen müssen deshalb mehr sein als freiwillige Beratungsangebote. Es braucht nachvollziehbare Kriterien, veröffentlichte Ergebnisse und klare Verantwortlichkeiten. Für besonders leistungsfähige oder handlungsfähige Systeme könnten verpflichtende Sicherheitsprüfungen notwendig werden, bevor sie umfassende Zugriffsrechte erhalten oder in kritischen Bereichen eingesetzt werden dürfen.
Auch öffentliche Einrichtungen sollten sich nicht allein auf allgemeine Sicherheitsversprechen verlassen. Sie benötigen eigene Anforderungen für Beschaffung, Erprobung und Betrieb. Ein bekanntes Anbieterlogo ersetzt weder eine Datenschutzprüfung noch ein fachlich begründetes Berechtigungskonzept.
Informationskompetenz bedeutet auch, KI-Handlungen zu hinterfragen
InformationskompetenzFähigkeit, Informationen gezielt zu suchen, kritisch zu bewerten und verantwortungsvoll zu nutzen. bezog sich lange vor allem auf Quellen, Suchstrategien und die Bewertung von Inhalten. Bei KI-Agenten kommt eine weitere Ebene hinzu: Menschen müssen nicht nur beurteilen können, ob eine Antwort plausibel ist. Sie müssen auch verstehen, welche Handlungen ein System im Hintergrund ausführt.
Welche Quellen wurden aufgerufen? Welche Daten wurden übermittelt? Welche Entscheidungen traf das System selbstständig? Und an welcher Stelle hätte ein Mensch eingreifen können?
Bibliotheken können dabei eine wichtige Vermittlungsrolle übernehmen. Sie können zeigen, dass KI-Agenten keine digitalen Personen mit eigenem Willen sind, aber dennoch unvorhersehbare und folgenreiche Handlungen ausführen können. Damit lässt sich sowohl einer unkritischen Technikbegeisterung als auch einer übertriebenen Vermenschlichung der Systeme entgegenwirken.
Die aktuellen Warnungen aus der KI-Branche sollten deshalb ernst genommen werden. Nicht, weil bereits bewiesen wäre, dass KI-Systeme zwangsläufig außer Kontrolle geraten. Sondern weil die technischen Handlungsmöglichkeiten schneller wachsen als die gesellschaftlichen, rechtlichen und organisatorischen Verfahren zu ihrer Kontrolle.
Für Bibliotheken folgt daraus ein einfacher Grundsatz: Je selbstständiger ein KI-System handeln kann, desto kleiner sollten zunächst seine Zugriffsrechte und desto stärker die menschliche Kontrolle sein.