Ziel dieser Einheit: Du verstehst das Grundprinzip generativer Sprachmodelle und kannst erklären, weshalb überzeugend formulierte Antworten trotzdem falsch sein können.
Ein Sprachmodell berechnet Sprache
Ein großes Sprachmodell wird mit sehr vielen Textbeispielen trainiert. Dabei speichert es nicht einfach eine vollständige Bibliothek von Texten ab. Es lernt statistische Zusammenhänge: Welche Wörter, Satzteile und Strukturen treten häufig gemeinsam auf? Aus deiner Eingabe berechnet es anschließend Schritt für Schritt, welche Fortsetzung wahrscheinlich gut passt.
Die kleinsten verarbeiteten Einheiten heißen Token. Ein Token kann ein Wort, ein Wortteil oder ein Satzzeichen sein. Das Modell erzeugt eine Antwort, indem es immer wieder ein passendes nächstes Token auswählt. Dadurch entstehen flüssige Texte, ohne dass zuvor ein fertiger Antwortsatz in einer Datenbank gelegen haben muss.
Training, Eingabe und Ausgabe
- Training: Das Modell erkennt Muster in großen Mengen von Beispieldaten.
- Eingabe: Dein Prompt liefert Aufgabe, Kontext und gewünschte Form.
- Berechnung: Das Modell gewichtet mögliche Fortsetzungen.
- Ausgabe: Es entsteht eine neue Antwort, die zur Eingabe passen soll.
Die Antwort wird von verschiedenen Einstellungen beeinflusst. Eine höhere sogenannte Temperatur sorgt häufig für abwechslungsreichere und unvorhersehbarere Formulierungen. Eine niedrigere Einstellung macht Antworten tendenziell gleichförmiger. Keine Einstellung verwandelt das Modell jedoch in eine verlässliche Wissensdatenbank.
Warum Halluzinationen entstehen
Wenn dem Modell gesicherte Informationen fehlen, kann es trotzdem eine sprachlich passende Antwort bilden. Dabei entstehen erfundene Fakten, Quellen, Buchtitel oder Zitate. Dieses Verhalten wird häufig als Halluzination bezeichnet. Der Begriff ist etwas irreführend: Das System nimmt nichts wahr, sondern erzeugt eine statistisch plausible, aber sachlich falsche Ausgabe.
Sprachliche Sicherheit ist kein Beleg für sachliche Richtigkeit.
Was ein Modell weiß – und was nicht
Ein Basismodell kennt nur Muster aus seinem Training. Manche Anwendungen ergänzen Websuche, Datenbanken oder bereitgestellte Dokumente. Dieses Verfahren wird häufig Retrieval-Augmented Generation genannt: Das System ruft externe Informationen ab und nutzt sie als Kontext für die Antwort. Das kann die Nachvollziehbarkeit verbessern, garantiert aber weder eine gute Quellenauswahl noch eine korrekte Interpretation.
Experiment: Gleiche Frage, andere Antwort
Stelle einem Chatbot zweimal dieselbe offene Frage, zum Beispiel: „Nenne drei ungewöhnliche Ideen für eine Bibliotheksveranstaltung zum Thema Zukunft.“ Vergleiche anschließend:
- Welche Vorschläge bleiben ähnlich?
- Welche Details verändern sich?
- Enthält eine Antwort überprüfbare Tatsachen?
- Welche Teile sind kreative Vorschläge und welche werden wie Fakten formuliert?
Zwischenfazit
Generative KI ist besonders stark darin, vorhandene Muster neu zusammenzusetzen, Texte zu strukturieren und Varianten zu erzeugen. Schwächer ist sie dort, wo Aktualität, Vollständigkeit, exakte Quellen oder eindeutige Verantwortung verlangt werden. Die Qualität hängt deshalb nicht nur vom Modell ab, sondern auch von der Aufgabe und der anschließenden menschlichen Prüfung.
Stimmt das?
Aussage: Wenn ein Sprachmodell eine Antwort sehr selbstsicher und fehlerfrei formuliert, ist die enthaltene Information wahrscheinlich geprüft.
Lösung anzeigen
Falsch. Sprachmodelle berechnen wahrscheinliche sprachliche Fortsetzungen. Eine überzeugende Formulierung sagt nichts darüber aus, ob eine Behauptung geprüft oder durch eine verlässliche Quelle belegt wurde.
Zusatzfrage: Was müsste eine KI-Anwendung ergänzen, damit ihre Antwort leichter überprüfbar wird?
Mögliche Antwort anzeigen
Hilfreich wären konkrete, aufrufbare Quellen mit Datum und klarer Zuordnung zu den einzelnen Aussagen. Geprüft werden müssen diese Quellen anschließend trotzdem.