Wie ich das Antwortverhalten generativer KI-Systeme messe

Begriffe und Beobachtungseinheiten

Fallzahlen wie „n = 240″ sind ohne Definition der Beobachtungseinheit nicht interpretierbar. Deswegen verwenden alle Studien des Monitors dieselben Begriffe:

Warum diese Trennung nötig ist, zeigt die Studie zur Weihnachtsstadt Lübeck. Sie umfasst 240 Abfragen je Messzyklus. Hinter dieser Zahl stehen allerdings keine 240 verschiedenen Stimuli. Abgefragt werden 24 Zellen (sechs Szenarien in vier Sprachen), jede Zelle zehnmal, verteilt auf fünf Erhebungswellen an fünf verschiedenen Tagen. Die zehn Antworten derselben Zelle teilen Prompt, Sprache, Standortkontext und System, sie bilden also einen Cluster. Bei statistischen Aussagen werden sie deshalb nicht ohne Weiteres wie zehn vollständig unabhängige Beobachtungen behandelt.

Wiederholungen und zeitliche Verteilung

Generative Sprachmodelle können bei identischen Eingaben unterschiedliche Ausgaben erzeugen. Eine einzelne Ausgabe behandle ich deswegen als eine einzelne Beobachtung, nie als „die Antwort“ des Systems. Für Zielgrößen wie Nennungs- oder Erstempfehlungsquoten werden definierte Zellen wiederholt abgefragt.

Doch wie viele Wiederholungen sind nötig? Bei binären Zielgrößen wie einer Nennung beeinflusst die Zahl der Beobachtungen unmittelbar die Präzision des geschätzten Anteils. Wie viele Wiederholungen sinnvoll sind, hängt allerdings nicht allein von der gewünschten Breite eines Konfidenzintervalls ab. Zusätzlich sind die Zahl der Zellen, die wiederholten Messungen innerhalb derselben Zelle und die geplanten Vergleiche zu berücksichtigen. Die Zahl der Wiederholungen wird deswegen studienspezifisch festgelegt und begründet. Dokumentiert wird dabei nicht nur die Gesamtzahl der Antworten, sondern auch deren Verteilung auf Prompts, Systeme, Sprachen und Wellen, und die statistische Aussagekraft wird anschließend für das jeweilige Design beurteilt. In der Bankenstudie Lübeck waren beispielsweise für jeden der sechs Leitprompts je System 100 Antworten vorgesehen, während die Erweiterungsprompts mit geringerer Wiederholungszahl erhoben und getrennt ausgewertet wurden. Pretests dienen ausschließlich der Kalibrierung des Designs und gehen nie in die berichteten Quoten ein.

Zeitliche Verteilung der Wiederholungen

Wiederholungen innerhalb eines kurzen Zeitfensters erfassen vor allem die Variation des Systems unter annähernd konstanten zeitlichen Bedingungen. Da sich Modellverhalten, Suchergebnisse und andere externe Bedingungen über die Zeit verändern können, verteile ich Wiederholungen bei geeigneten Studien zusätzlich auf mehrere Erhebungstage. Dadurch lässt sich beobachten, ob sich die gemessenen Anteile zwischen einzelnen Erhebungstagen verändern.

Umgang mit der Clusterstruktur

Wiederholungen derselben Zelle teilen wesentliche Designfaktoren und werden deshalb nicht automatisch als vollständig unabhängige Beobachtungen behandelt. Wird für eine Untersuchung ein Designeffekt oder ein anderes clusterberücksichtigendes Unsicherheitsmaß berechnet, beschreibt das jeweilige Studienprotokoll das Verfahren und die zugrunde liegende Clustereinheit. Werden hingegen nur unadjustierte Intervalle berichtet, wird dies ausdrücklich angegeben und die Interpretation entsprechend begrenzt.

Extraktion, Codierung und Validierung

Zwischen der rohen Modellantwort und einer berichteten Quote liegen mehrere Verarbeitungsstufen. Jede Studie dokumentiert diese Pipeline vollständig:

Die Rohantwort ist die unveränderte Modellausgabe, sie wird im Wortlaut archiviert. Die Extraktion gewinnt aus dem Fließtext die genannten Zielentitäten samt Position. Die Normalisierung führt Namensvarianten zusammen, sodass etwa der Lübecker Weihnachtsmarkt der Stadt Lübeck zugeordnet wird. Die Codierung wendet die vorab festgelegten Regeln an, die z. B. entscheiden, was als Erstempfehlung gilt. Und die Validierung beziffert, wie zuverlässig diese Schritte arbeiten.

Zwei Extraktionsverfahren

Ist die Menge der Zielentitäten geschlossen und vorab bekannt, wie bei den elf Lübecker Bankinstituten, läuft die Codierung über einen festen String-Abgleich gegen eine eingefrorene Variantenliste. Bei identischer Rohantwort und identischer Variantenliste liefert diese Codierung dasselbe Ergebnis. Sie ist damit deterministisch und fügt der bereits variablen Modellausgabe keine zusätzliche modellbasierte Extraktionsvarianz hinzu. Ist die Menge hingegen offen, wie bei den Städtenennungen der Weihnachtsstadt-Studie, extrahiert ein zweites Sprachmodell die Nennungen in strukturierter Form. Jede solche Zuordnung führt ein wörtliches Zitat aus der Antwort als Beleg mit, und unbekannte Namen laufen als offene Fälle auf, die vor der Auswertung von Hand zugeordnet werden.

Wird für die Extraktion erneut ein Sprachmodell eingesetzt, werden auch dessen Modellkennung, Prompt, Konfiguration und Ausgabeschema dokumentiert. Seine Ausgabe gilt dabei nicht als Ground Truth, sondern als automatisierter Verarbeitungsschritt, dessen Übereinstimmung mit einer manuellen Codierung geprüft wird. Den Umfang dieser manuellen Kontrollcodierung legt das jeweilige Studienprotokoll vorab fest, berichtet werden die Größe der Kontrollstichprobe und das verwendete Übereinstimmungsmaß. In der Bankenstudie deckte bereits der Pretest einen Fehler im String-Abgleich auf: Die Formulierung „Volks-/Raiffeisenbank“ wurde über das Muster raiffeisenbank fälschlich als Umlandinstitut codiert. Der Fehler wurde vor der Haupterhebung behoben und ist im Studienprotokoll dokumentiert.

Referenzdaten für Faktenprüfungen

Untersucht eine Studie die sachliche Richtigkeit von KI-Antworten, wird zusätzlich festgelegt, anhand welcher Quellen eine Aussage als richtig, falsch oder nicht überprüfbar codiert wird. Das Studienprotokoll dokumentiert dazu den relevanten Stichtag, die verwendete Quellenhierarchie und den Umgang mit widersprüchlichen oder fehlenden Angaben. Bevorzugt werden Primärquellen der jeweils zuständigen Organisation, beispielsweise die Website eines Museums für dessen Öffnungszeiten.

Eine fehlende Information wird dabei nicht automatisch als falsche KI-Aussage gewertet. Lässt sich für eine Behauptung keine ausreichend belastbare Vergleichsgrundlage herstellen, wird sie als nicht überprüfbar behandelt und getrennt ausgewiesen. Nach diesem Prinzip arbeitet etwa die Studie zur KI-Reiseplanung in Lübeck, die Angaben aus KI-generierten Reiseplänen gegen die Websites der genannten Orte und Einrichtungen prüft.

Reproduzierbarkeit und Forschungsdaten

Bei meinen Erhebungen ist zwischen einem reproduzierbaren Verfahren und einem identisch reproduzierbaren Ergebnis zu unterscheiden. Eine identische Reproduktion einzelner Ausgaben zu einem späteren Zeitpunkt ist bei proprietären, fortlaufend aktualisierten und probabilistischen Modellen grundsätzlich nur eingeschränkt möglich.

Ziel der Dokumentation ist deswegen die Reproduzierbarkeit des Verfahrens und die Nachprüfbarkeit der zum Erhebungszeitpunkt beobachteten Ausgaben. Hierfür werden die vollständigen Rohantworten archiviert, zusammen mit Modellkennung, Konfiguration und Zeitpunkt jeder einzelnen Abfrage. Jede berichtete Zahl lässt sich so auf die Rohdaten zurückrechnen, auch wenn sich das Modell längst verändert hat. Eine spätere Wiederholung kann deshalb trotz identischer dokumentierter Vorgehensweise andere Modellantworten erzeugen.

Veröffentlichte Studienmaterialien

Die Studienseiten dokumentieren mindestens Forschungsfrage, verwendete Prompts bzw. Szenarien, Messbedingungen, Auswertungsregeln, Änderungen und Grenzen der Aussagekraft. Bei abgeschlossenen Untersuchungen werden darüber hinaus die für eine Nachprüfung notwendigen Roh- und Auswertungsdaten veröffentlicht, soweit dem keine rechtlichen oder datenschutzbezogenen Gründe entgegenstehen.

Auf dieser Website veröffentliche und erläutere ich die einzelnen Untersuchungen. Für eine dauerhafte wissenschaftliche Archivierung ist eine persönliche Website allerdings nur eingeschränkt geeignet. Künftig sollen eingefrorene Datensätze und Auswertungsskripte deswegen zusätzlich in einem persistenten Forschungsrepositorium mit dauerhafter Kennung archiviert werden. Sobald diese Bausteine stehen, verlinkt sie die jeweilige Studienseite.