Künstliche Intelligenz wird meist mit großen Rechenzentren und leistungsfähigen Servern verbunden. Viele bekannte KI-Angebote funktionieren als Cloud-Dienst (eine Anwendung, die auf den Rechnern eines externen Anbieters ausgeführt wird). Wer eine Anfrage stellt, überträgt den eingegebenen Text und möglicherweise weitere Dateien über das Internet an diesen Anbieter.
Inzwischen lassen sich kleinere Sprachmodelle aber auch auf vergleichsweise kompakter Hardware betreiben. Nach einem aktuellen Bericht von Golem eignen sich für bestimmte, klar begrenzte Anwendungen sogar Einplatinencomputer wie der Raspberry Pi. Ein SBC (Single-Board Computer, also ein vollständiger Computer auf einer einzelnen Platine) ist klein, benötigt wenig Strom und kostet deutlich weniger als ein leistungsfähiger KI-Server.
Möglich wird das unter anderem durch kompaktere Sprachmodelle und spezielle Recheneinheiten. Eine NPU (Neural Processing Unit, ein für KI-Berechnungen optimierter Prozessor) kann bestimmte Aufgaben effizienter verarbeiten als ein gewöhnlicher Hauptprozessor. Trotzdem bleiben Arbeitsspeicher und Rechenleistung begrenzt. Solche Systeme können daher nicht ohne Weiteres mit großen kommerziellen KI-Modellen konkurrieren.
Ihr Vorteil liegt an einer anderen Stelle: Sie können lokal betrieben werden.
Was „lokal“ bei künstlicher Intelligenz bedeutet
Bei einem lokal betriebenen Sprachmodell werden die Anfragen grundsätzlich auf einem eigenen Gerät verarbeitet. Texte müssen dann nicht für jede Bearbeitung an OpenAI, Google, Anthropic oder einen anderen externen Dienst übertragen werden.
Das kann besonders interessant sein, wenn mit internen oder personenbezogenen Informationen gearbeitet wird. Auch die Abhängigkeit von einer dauerhaften Internetverbindung, wechselnden Geschäftsbedingungen und den Preisen externer Anbieter lässt sich verringern.
Lokale Systeme eröffnen deshalb eine interessante Perspektive auf digitale Souveränität (die Fähigkeit, über die eingesetzte Technik und die eigenen Daten möglichst selbstbestimmt zu entscheiden). Eine Einrichtung kann genauer festlegen, wo Daten gespeichert werden, wer auf das System zugreifen darf und für welche Aufgaben es eingesetzt wird.
Diese Kontrolle hat allerdings ihren Preis. Während sich bei einem Cloud-Dienst der Anbieter um Betrieb, Wartung und einen großen Teil der technischen Sicherheit kümmert, liegt diese Verantwortung bei einer lokalen Lösung stärker bei der betreibenden Einrichtung.
Kleinere Modelle für klar umrissene Aufgaben
Ein kompaktes Sprachmodell auf einem Mini-Computer wird kaum sämtliche Aufgaben eines großen Chatbots übernehmen. Für einen sinnvollen Einsatz ist das möglicherweise auch gar nicht notwendig.
Statt eines vermeintlichen Alleskönners können lokale Modelle für eng eingegrenzte Aufgaben eingerichtet werden. Denkbar sind beispielsweise eine einfache Orientierungshilfe in einem Gebäude, die sprachliche Überarbeitung kurzer Texte oder eine Anwendung, die ausschließlich Fragen zu einem vorher ausgewählten Informationsbestand beantwortet.
Dabei sollte die Technik nicht größer gedacht werden als der tatsächliche Bedarf. Ein langsames, aber kontrollierbares System kann für eine einzelne Aufgabe sinnvoller sein als ein sehr leistungsfähiges Angebot, dessen Datenverarbeitung und Funktionsweise kaum nachvollziehbar sind.
Gleichzeitig müssen die Grenzen offen benannt werden. Kleinere Modelle verfügen häufig über weniger Wissen, können komplexe Zusammenhänge schlechter verarbeiten und erzeugen ebenfalls Halluzinationen (plausibel formulierte, aber falsche oder erfundene Aussagen). Lokal ausgeführte Antworten sind deshalb nicht automatisch verlässlicher.
Ein mögliches Experimentierfeld für Bibliotheken
Für Bibliotheken können lokale Sprachmodelle sowohl als Arbeitsmittel als auch als Gegenstand medienpädagogischer Vermittlung interessant sein. Ein Mini-Computer mit einem lokalen Modell könnte beispielsweise Teil einer KI-Werkstatt, einer TechnoThek oder eines offenen Experimentierangebots werden.
Besucherinnen und Besucher könnten unmittelbar vergleichen, wie sich ein kleines lokales Modell von einem großen Cloud-Angebot unterscheidet. Dabei werden abstrakte Themen wie Rechenleistung, Datenschutz, Trainingsdaten und Fehleranfälligkeit anschaulich erfahrbar.
Auch für die Informationskompetenz bietet sich ein guter Ansatz. Wenn verschiedene Modelle dieselbe Frage beantworten, lassen sich Unterschiede in Umfang, Sprache und inhaltlicher Qualität untersuchen. Dadurch wird deutlich, dass eine KI-Antwort nicht allein nach ihrer sprachlichen Überzeugungskraft beurteilt werden darf. Entscheidend bleibt, ob Aussagen nachvollzogen und durch geeignete Quellen überprüft werden können.
Ein solches Angebot vermittelt zugleich, dass künstliche Intelligenz kein einheitliches Werkzeug ist. Zwischen einem großen kommerziellen Chatbot und einem kleinen lokal installierten Modell bestehen erhebliche Unterschiede bei Leistung, Datenverarbeitung, Kontrolle und Einsatzzweck.
Lokal bedeutet nicht automatisch datenschutzkonform
Der lokale Betrieb kann die Weitergabe von Daten erheblich reduzieren. Er ist aber noch kein fertiges Datenschutzkonzept. Auch auf dem eigenen Gerät können Eingaben gespeichert, Protokolle angelegt oder Daten für unberechtigte Personen zugänglich werden.
Bibliotheken müssen deshalb weiterhin klären, welche Informationen verarbeitet werden dürfen, wie lange sie gespeichert bleiben und wer Zugriff auf das System erhält. Betriebssystem, Modell und zusätzliche Software müssen regelmäßig aktualisiert werden. Ebenso wichtig sind sichere Passwörter, geregelte Berechtigungen und eine verständliche Information der Nutzenden.
Auch die Herkunft des verwendeten Modells sollte geprüft werden. Nicht jedes frei herunterladbare Modell darf für jeden Zweck eingesetzt oder beliebig verändert werden. Lizenzen, dokumentierte Trainingsgrundlagen und bekannte Risiken gehören deshalb ebenfalls zur Bewertung.
Lokale KI ist somit kein einfacher Ausweg aus allen Datenschutzproblemen. Sie verschiebt einen Teil der Verantwortung vom externen Anbieter zur eigenen Einrichtung. Gerade darin liegt aber auch ihre Stärke: Entscheidungen können bewusster, transparenter und näher am konkreten Einsatz getroffen werden.
Für Bibliotheken können kleine lokale Sprachmodelle deshalb ein spannendes Experimentierfeld sein. Sie bieten mehr Kontrolle und machen die technische Funktionsweise von KI greifbarer. Sinnvoll sind sie vor allem dort, wo eine klar definierte Aufgabe, ausreichende technische Betreuung und ein realistisches Verständnis ihrer Grenzen zusammenkommen.