Der frühere Google-Manager Tom Siegel übernimmt die Leitung des Youth AI Safety Institute von Common Sense Media. Das Institut will untersuchen, wie sich KI-Angebote auf Kinder und Jugendliche auswirken, öffentlich zugängliche Systeme prüfen und daraus Sicherheitsstandards entwickeln.
Siegel war bei Google am Aufbau des Bereichs „Trust and Safety“ beteiligt. Gegenüber Reuters warnte er nun davor, bei KI dieselben Fehler zu wiederholen wie zuvor bei sozialen Netzwerken. Unternehmen brächten neue Funktionen in hoher Geschwindigkeit auf den Markt, während Schutzmechanismen und politische Regeln dieser Entwicklung hinterherliefen. Zu den möglichen Folgen zählt er psychische Belastungen, problematische Beziehungen zu Chatbots und eine nachlassende Fähigkeit, Informationen selbstständig zu prüfen.
Das Institut beschreibt seinen Ansatz mit einem anschaulichen Vergleich: So wie Fahrzeuge vor ihrer Zulassung auf Sicherheit geprüft werden, sollen auch KI-Produkte systematischen Belastungstests unterzogen werden. Das klingt überzeugend. Bei näherem Hinsehen stellt sich allerdings eine zweite Frage: Wer entwickelt diese Tests – und wie unabhängig ist eine Institution, die teilweise von den Unternehmen finanziert wird, deren Produkte sie untersucht?
Ein Sicherheitsversprechen ist noch kein Sicherheitsnachweis
Viele KI-Anbieter verweisen inzwischen auf Altersgrenzen, Jugendschutzeinstellungen und technische Schutzmechanismen. Solche Maßnahmen sind notwendig. Ihre bloße Existenz sagt aber wenig darüber aus, wie zuverlässig sie funktionieren.
Eine Altersabfrage lässt sich leicht umgehen, wenn lediglich ein Geburtsdatum eingegeben werden muss. Ein ChatbotSoftware, die schriftliche oder gesprochene Dialoge mit Menschen führt. kann bei eindeutig problematischen Fragen angemessen reagieren und zugleich in weniger offensichtlichen Situationen versagen. Hinzu kommt, dass generative KIKI, die auf Grundlage gelernter Muster neue Inhalte wie Texte, Bilder, Audio oder Code erzeugt. nicht bei jeder identischen Eingabe dieselbe Antwort erzeugt. Ein einzelner erfolgreicher Test beweist deshalb noch nicht, dass ein System dauerhaft sicher arbeitet.
Unabhängige Prüfungen könnten hier eine wichtige Lücke schließen. Sie müssten unterschiedliche Altersgruppen, Gesprächsverläufe und Risikosituationen berücksichtigen. Ebenso entscheidend wäre, dass Testverfahren, Bewertungskriterien und Einschränkungen öffentlich nachvollziehbar sind. Ein einfaches Siegel mit der Aufschrift „für Kinder geeignet“ wäre dafür zu wenig.
Das Youth AI Safety Institute kündigt an, seine Ergebnisse breit zu veröffentlichen und klare Standards zu entwickeln. Bereits bestehende Untersuchungen von Common Sense Media zeigen, dass die Organisation auch deutliche Kritik an großen Anbietern veröffentlicht. So bewertete sie Googles KI-gestützte Suchfunktionen als ein erhebliches Risiko für Kinder. Google widersprach Teilen der Methodik und bezeichnete einige Testanfragen als wenig realistisch.
Gerade dieser Widerspruch ist aufschlussreich: Sicherheitsbewertungen sind keine endgültigen Wahrheiten. Sie beruhen auf ausgewählten Szenarien, Annahmen und Maßstäben, die selbst überprüfbar sein müssen.
Wenn die geprüften Unternehmen die Prüfstelle mitfinanzieren
Zu den Geldgebern des Instituts gehören philanthropische Stiftungen und vermögende Privatpersonen, aber auch Anthropic, Pinterest und die OpenAI Foundation. Damit unterstützen Organisationen das Institut, die selbst ein wirtschaftliches oder institutionelles Interesse an der Verbreitung von KI-Angeboten haben.
Das macht die Arbeit des Instituts nicht automatisch unglaubwürdig. Forschung und gesellschaftliche Projekte werden häufig von Akteuren finanziert, die zugleich Interessen im untersuchten Bereich besitzen. Entscheidend ist, wie mit diesem möglichen Interessenkonflikt umgegangen wird.
Das Institut erklärt, allein für seine Standards, Untersuchungen und Bewertungen verantwortlich zu sein. Die Geldgeber hätten keinen Einfluss auf Tests oder veröffentlichte Ergebnisse. Dieses Bekenntnis zur redaktionellen Unabhängigkeit ist wichtig – es sollte aber durch überprüfbare Strukturen gestützt werden.
Dazu gehören beispielsweise öffentlich einsehbare Finanzierungsanteile, offengelegte Prüfmethoden, klare Regeln für Interessenkonflikte und die Veröffentlichung vollständiger Ergebnisse. Ebenso sollte nachvollziehbar sein, ob Geldgeber vorab Kenntnis von Bewertungen erhalten und wie über Änderungen an Testverfahren entschieden wird.
Transparenz bedeutet in diesem Zusammenhang nicht, pauschales Misstrauen zu erzeugen. Sie ermöglicht erst, Vertrauen begründet zu vergeben.
Kinderschutz darf nicht vom guten Willen der Branche abhängen
Siegel hält es für unrealistisch, darauf zu vertrauen, dass die KI-Branche alle Probleme aus eigener Kraft löst. Damit benennt er ein grundsätzliches Problem der Selbstregulierung: Unternehmen müssen Sicherheitsrisiken begrenzen, stehen aber gleichzeitig unter dem Druck, neue Funktionen schnell zu veröffentlichen, Reichweite zu gewinnen und Einnahmen zu erzielen.
Freiwillige Standards und unabhängige Produkttests können politische Regeln sinnvoll ergänzen. Sie ersetzen jedoch keine gesetzlichen Anforderungen. Besonders bei Angeboten für Minderjährige müssen Mindeststandards gelten, die nicht davon abhängen, ob ein Unternehmen freiwillig mit einer Prüfstelle zusammenarbeitet.
Auch die angekündigten Tests selbst werden nur dann Wirkung entfalten, wenn Anbieter auf schlechte Ergebnisse reagieren oder politische und gesellschaftliche Akteure daraus Konsequenzen ziehen. Ein öffentlich dokumentiertes Risiko schützt noch kein Kind, solange das betreffende Angebot unverändert zugänglich bleibt.
Was Bibliotheken aus solchen Bewertungen ableiten können
Für öffentliche und wissenschaftliche Bibliotheken können unabhängige KI-Bewertungen eine wichtige Orientierung bieten. Das gilt etwa bei der Auswahl von Werkzeugen, bei Empfehlungen an Familien oder bei der Einschätzung, ob ein Angebot für bestimmte Altersgruppen geeignet erscheint.
Dabei sollten Bibliotheken Testergebnisse nicht wie eine verbindliche Altersfreigabe behandeln. Eine Bewertung ist immer eine Momentaufnahme: Modelle, Funktionen und Nutzungsbedingungen können sich kurzfristig verändern. Außerdem kann ein Dienst bei einer klar abgegrenzten Aufgabe vertretbar sein, während andere Einsatzformen erhebliche Risiken mit sich bringen.
Zur Informationskompetenz gehört deshalb künftig auch, die Institutionen hinter technischen Bewertungen zu betrachten: Wer hat geprüft? Nach welchen Kriterien? Wer finanziert die Untersuchung? Wurden Gegenpositionen berücksichtigt? Und sind die Ergebnisse so veröffentlicht, dass sie unabhängig nachvollzogen werden können?
Diese Fragen sind zugleich ein Bestandteil von Demokratiebildung. In einer zunehmend von privaten Plattformen geprägten Öffentlichkeit darf gesellschaftliches Vertrauen nicht allein durch Markenbekanntheit oder selbst vergebene Sicherheitssiegel entstehen. Es braucht überprüfbare Verfahren, unabhängige Forschung und eine öffentliche Diskussion darüber, welches Risiko eine Gesellschaft bei Angeboten für Kinder akzeptieren will.
Kontrolle braucht selbst Kontrolle
Das Youth AI Safety Institute setzt an einer wichtigen Stelle an. Kinder und Jugendliche nutzen KI längst, während belastbare Schutzstandards erst entstehen. Systematische Prüfungen können Risiken sichtbar machen, Vergleichbarkeit schaffen und politischen Handlungsdruck erzeugen.
Die Finanzierung durch Unternehmen aus dem untersuchten Feld bleibt dabei ein Spannungsverhältnis. Sie ist kein Beweis für Abhängigkeit, darf aber auch nicht mit einem allgemeinen Hinweis auf redaktionelle Freiheit abgehakt werden.
Ob das Institut tatsächlich eine unabhängige Kontrollinstanz wird, zeigt sich nicht an seinem Anspruch, sondern an seiner Praxis: an offengelegten Methoden, unbequemen Ergebnissen und der Bereitschaft, auch die eigenen Geldgeber öffentlich zu kritisieren.