Zum Inhalt springen Neuer FachbeitragWebsite Boosting, Ausgabe 101
Patrick Stolp Anfrage stellen
Menü
Lübecker KI-Monitor → Methodik

Wie verlässlich sind KI-Antworten? Die Methodik des Lübecker KI-Monitors verständlich erklärt

Methodische Grundlagen, Reproduzierbarkeit und Grenzen des Lübecker KI-Monitors

Methodikfassung 1.1 · 12.10.2026

Wenn Menschen heute nach einer Bank, einem Ausflugsziel oder einer Förderung suchen, tippen sie ihr Anliegen längst nicht mehr nur bei Google ein. Immer häufiger fragen sie stattdessen einen KI-Chatbot wie ChatGPT oder Googles Gemini. Doch welche Unternehmen und Orte tauchen in diesen Antworten eigentlich auf, an welcher Stelle stehen sie – und wie verlässlich sind solche Nennungen? Genau das untersuche ich im Lübecker KI-Monitor. Auf dieser Seite lege ich offen, nach welchen Regeln ich die Daten dafür erhebe und wie die Auswertungen entstehen.

Damit dieses Vorgehen für alle nachvollziehbar bleibt, ist die Methodik in zwei Abschnitte gegliedert. In diesem ersten Teil erkläre ich das Grundprinzip ohne Fachchinesisch, damit Sie die Aussagekraft der Zahlen selbst beurteilen können. Wer es mathematisch oder technisch ganz genau wissen möchte, findet darunter im zweiten Teil („Die Einzelheiten“) sämtliche Definitionen, Zählweisen und statistischen Festlegungen für Fachleute.

Was der KI-Monitor misst – und was nicht

Wer Zahlen richtig einordnen will, muss zuerst wissen, worauf sie sich überhaupt beziehen. Meine Erhebungen konzentrieren sich auf das, was die Systeme nach außen hin sichtbar ausgeben.

Gemessen wird

  • welche Unternehmen, Einrichtungen oder Städte die KI-Chatbots auf konkrete Fragen nennen, an welcher Textposition sie stehen und ob sie ausdrücklich empfohlen werden,
  • welche Webseiten die Systeme als Quellen verlinken und ob sie für die Antwort überhaupt eine Suche im Internet ausgelöst haben,
  • ob überprüfbare Sachangaben stimmen, sofern es dafür eine feste Vergleichsgrundlage gibt (beispielsweise die Öffnungszeiten eines Museums an einem bestimmten Tag),
  • wie stark die Antworten schwanken, wenn man dieselbe Frage wiederholt, an verschiedenen Tagen stellt oder zwischen ChatGPT und Gemini vergleicht.

Nicht gemessen wird

  • warum ein Sprachmodell im Inneren so geantwortet hat, denn dieser Rechenprozess ist von außen schlicht nicht einsehbar,
  • was alle Nutzer auf ihren Bildschirmen sehen, wenn sie die jeweilige App öffnen,
  • eine pauschale „KI-Sichtbarkeit“, die für jedes System und jede Situation gleichermaßen gelten würde,
  • ob eine bestimmte Werbe- oder SEO-Maßnahme eines Betriebs eine Veränderung herbeigeführt hat, denn dafür bräuchte es ein gezieltes Experiment, in dem die Maßnahme bewusst eingesetzt wird,
  • die tatsächliche Qualität, Freundlichkeit oder Leistungsfähigkeit der untersuchten Anbieter.

Wie eine Messung praktisch abläuft

Wie eine Untersuchung in der Praxis funktioniert, lässt sich am besten an einem konkreten Fall zeigen. Für die Bankenstudie Lübeck habe ich im August 2026 elf Banken und Sparkassen untersucht, die einen festen Beratungsstandort im Lübecker Stadtgebiet betreiben.

Zunächst habe ich 33 typische Alltagsfragen formuliert, wie Ratsuchende sie typischerweise stellen (etwa zum Girokonto, zur Baufinanzierung oder zur nächsten Filiale). Diese Fragen tippe ich jedoch nicht von Hand in die Smartphone-App ein. Stattdessen schicke ich sie über die offiziellen Programmierschnittstellen von OpenAI und Google an ChatGPT und Gemini. Eine Programmierschnittstelle ist vereinfacht gesagt ein technischer Zugang, über den ein eigenes Programm Fragen automatisiert stellen kann. Das hat den großen Vorteil, dass sich das verwendete Modell und die wichtigen technischen Einstellungen festlegen und protokollieren lassen.

Ein eigens dafür geschriebenes Programm hat diese 33 Fragen an zehn Tagen zwischen dem 1. und dem 12. August 2026 viele Male wiederholt. Jede einzelne Antwort wurde im vollständigen Wortlaut mit Zeitstempel, Modellbezeichnung und Parametern gespeichert. Anschließend prüfte das Programm anhand einer festen Liste von Namensschreibweisen, welche der elf Banken genannt wurden und an welcher Position sie standen. Um die automatische Zählung zu kontrollieren, habe ich eine zufällige Auswahl von zehn Prozent aller Antworten zusätzlich von einem zweiten Sprachmodell auswerten lassen. Beide Auswertungen stimmten nahezu vollständig überein. Eine unabhängige Prüfung durch einen zweiten Menschen ersetzt dieser Abgleich allerdings nicht.

Am Ende standen 2.320 gültige Antworten bereit. Daraus berechne ich Anteile: Bei den sechs wichtigsten Leitfragen stand die Sparkasse zu Lübeck beispielsweise in 94,3 Prozent der Antworten unter den ersten drei genannten Anbietern. Zu solchen Werten gebe ich in den Berichten zusätzlich einen Bereich an, ein sogenanntes 95-Prozent-Intervall. Diese Spanne gibt an, wie genau der Anteil unter diesem konkreten Messaufbau geschätzt ist, und berücksichtigt die zufällige Schwankung der Antworten. Sie ist ausdrücklich nicht der Bereich, in dem künftige Messergebnisse liegen werden.

Warum dieselbe Frage viele Male gestellt wird

Wer eine klassische Suchmaschine wie Google nach einer Filiale fragt, erhält bei gleicher Eingabe meist recht ähnliche Trefferlisten. Bei einem KI-Chatbot ist das grundlegend anders. Ein Sprachmodell schlägt Antworten nicht in einem festen Verzeichnis nach, sondern berechnet Wort für Wort Wahrscheinlichkeiten für den weiteren Textverlauf. Dabei fließt bewusst ein gewisser Zufall ein. Wer dieselbe Frage dreimal hintereinander stellt, bekommt daher oft drei unterschiedliche Formulierungen, andere Schwerpunkte oder gar völlig andere Empfehlungen. Bei einer Untersuchung von Rand Fishkin und Patrick O’Donnell (SparkToro) kam die identische Empfehlungsliste bei knapp 3.000 Antworten führender KI-Systeme in weniger als einem von hundert Fällen zweimal vor.

Eine einzelne Antwort ist deshalb nur eine Momentaufnahme. Sie sagt fast nichts darüber aus, wie das System im Regelfall reagiert. Verlässliche Muster werden erst sichtbar, wenn man dieselbe Frage viele Male stellt.

Zusätzlich verteile ich die Abfragen bei geeigneten Studien auf mehrere Tage. Denn die Modelle greifen bei aktuellen Themen auf das Web zurück, und die Suchergebnisse im Internet verändern sich fortlaufend. Obendrein spielen die Anbieter regelmäßig kleinere Anpassungen ein. Antworten auf dieselbe Frage ähneln einander naturgemäß stärker als Antworten auf völlig unterschiedliche Fragen. Für die statistische Auswertung zählen sie deshalb nicht so viel wie komplett voneinander unabhängige Beobachtungen. Ob und wie ich diese Abhängigkeiten rechnerisch berücksichtige, beschreibe ich im zweiten Teil für Fachleute.

Wie ich verhindere, dass ich mir Ergebnisse zurechtlege

In der Datenanalyse besteht immer die Gefahr, so lange an Filtern und Fragestellungen herumzuprobieren, bis die Zahlen die gewünschte Geschichte erzählen. Um dem vorzubeugen, trenne ich die Planung strikt von der eigentlichen Auswertung.

Bevor die eigentliche Messung beginnt, stehen die Fragen im exakten Wortlaut fest. Ebenso definiere ich vorab, was als Nennung zählt, ab wann eine Erwähnung als Empfehlung gewertet wird und wie die Daten ausgewertet werden. Diese Festlegungen werden in Textdateien gespeichert und mit einem digitalen Fingerabdruck versehen, einer Prüfsumme. Anhand dieser Prüfsumme lässt sich später prüfen, ob an den Regeln nach dem Start noch etwas verändert wurde. Eine Prüfsumme allein belegt allerdings noch nicht das genaue Datum, an dem eine Datei angelegt wurde.

Deshalb registriere ich größere Untersuchungen seit Oktober 2026 vorab auf der unabhängigen wissenschaftlichen Plattform Open Science Framework (OSF) mit einem verlässlichen Zeitstempel. Erstmals habe ich das bei der bundesweiten ChatGPT-Weltmarktführer-Studie so gehandhabt, die dort am 4. Oktober 2026 vor der Hauptmessung hinterlegt wurde. Eine solche Vorab-Registrierung schließt spätere Anpassungen zwar nicht technisch aus, aber sie macht sie für jeden prüfbar. Bei kleineren Erhebungen und beim monatlichen Branchen-Radar arbeite ich weiterhin mit vorab eingefrorenen Dateien ohne externe Registrierung.

Muss während einer Messung technisch oder methodisch nachjustiert werden, dokumentiere ich das offen im jeweiligen Protokoll. Bei der Untersuchung zur Weihnachtsstadt Lübeck habe ich am 15. August 2026 beispielsweise eine zusätzliche Prüfung eingebaut: Sie verhindert, dass ein Messdurchlauf, der schon vor der ersten gespeicherten Antwort abbricht, fälschlicherweise als erhobener Messtag gezählt wird. Die Antworten und die Auswertungsregeln blieben davon unberührt. Entsteht eine Auswertung erst nachträglich beim Blick in die fertigen Daten, kennzeichne ich diese Fragestellung im Bericht ausdrücklich als nachträgliche Beobachtung. Und fällt ein Fehler auf, wird er transparent korrigiert: Bei der Bankenstudie bemerkte ich im Vorlauf, dass die Schreibweise „Volks-/Raiffeisenbank“ irrtümlich einem Institut aus dem Umland zugeschlagen worden war. Dieser Fehler wurde vor der Hauptmessung behoben und im Studienprotokoll dokumentiert.

Wie belastbar die Zahlen sind – und wo ihre Grenzen liegen

Der Lübecker KI-Monitor ist ein unabhängiges, von mir selbst finanziertes Projekt. Es handelt sich um keine Hochschulstudie und die Untersuchungen wurden nicht von externen Fachleuten begutachtet. Umso wichtiger ist es, die praktischen Grenzen der Daten ganz nüchtern zu benennen.

Zunächst messen meine Programme über die offiziellen Programmierschnittstellen der Anbieter. Wenn Sie die App von ChatGPT auf dem Smartphone nutzen, setzt der Betreiber im Hintergrund womöglich andere Modellvarianten oder Vorgaben ein. Die ermittelten Werte gelten exakt für den dokumentierten Versuchsaufbau, nicht automatisch für jede alltägliche App-Nutzung.

Zudem bilden die Ergebnisse immer nur den jeweiligen Messzeitraum ab. Wenn eine Bank im August in fast allen Antworten auftauchte, lässt sich daraus keineswegs ableiten, dass dieser Zustand in einem halben Jahr noch gilt. Spätere Nachmessungen weise ich deshalb grundsätzlich als eigenständige Zeitpunkte aus.

Schließlich zeigen die Messungen meist nur Zusammenhänge. Ursachen lassen sich nur dort ablesen, wo eine Bedingung gezielt verändert wurde, etwa die verfügbare Websuche in der Weltmarktführer-Studie. Wenn ein Anbieter besonders häufig genannt wird, lässt sich aus den Daten nicht ablesen, welche Marketingmaßnahme oder welcher Zeitungsartikel dafür verantwortlich war. Die meisten Auswertungen beschreiben schlicht das, was im Erhebungszeitraum beobachtet wurde; weitergehende statistische Tests setze ich nur dann ein, wenn Fragestellung, Versuchsaufbau und Fallzahl das sinnvoll zulassen.

Wie Sie die Ergebnisse selbst prüfen können

Transparenz ist nur dann etwas wert, wenn man die Behauptungen auch selbst nachvollziehen kann. Deshalb stelle ich zu jeder Untersuchung die Arbeitsgrundlagen bereit:

  • Auf den jeweiligen Studienseiten finden Sie die genauen Fragestellungen, die Rahmenbedingungen der Messung, das Regelwerk für die Auswertung und die Grenzen der Aussagekraft.
  • Sobald ein Projekt abgeschlossen ist, veröffentliche ich die Rohdaten als Datenpaket zum Herunterladen, sofern keine rechtlichen Gründe oder Datenschutzvorgaben dagegensprechen. Bei der Bankenstudie können Sie beispielsweise sämtliche Antworten im Original einsehen.
  • Wer Quoten und Kennzahlen selbst nachrechnen möchte, kann dafür die Werkzeuge im KI-Suche Wiki nutzen.

Sollten Sie Fragen zu den Zahlen haben, Unstimmigkeiten entdecken oder begründete Kritik anbringen wollen, schreiben Sie mir gern an kontakt@patrickstolp.de. Führt ein Hinweis zu einer Korrektur, halte ich das offen im Änderungsprotokoll der jeweiligen Studie fest.

Die Einzelheiten

Dieser Teil richtet sich an Leserinnen und Leser, die meine Erhebungen methodisch genau prüfen wollen. Er beschreibt die übergreifenden Grundsätze, nach denen ich die Studien des Lübecker KI-Monitors plane, durchführe und auswerte. Die studienspezifischen Details – also die genauen Prompt-Wortlaute, die Abfrage- und Wiederholungspläne, das Codierregelwerk und die eigentlichen Messergebnisse – finden Sie auf der jeweiligen Studienseite.

Welche dieser methodischen Festlegungen für eine konkrete Untersuchung bereits vor Beginn der Datenerhebung galten, ergibt sich dabei ausschließlich aus dem jeweiligen Studienprotokoll. Ein Teil der hier dokumentierten Standards ist erst im Verlauf des Monitors entstanden. Spätere Fassungen dieser Seite gelten deshalb nicht rückwirkend für Erhebungen, die zu diesem Zeitpunkt bereits abgeschlossen waren; jede relevante Änderung erhält eine neue Fassungsnummer.

Gegenstand und Aussagegrenzen

Der Lübecker KI-Monitor untersucht Sprachmodelle als von außen beobachtbare probabilistische Systeme – also als Systeme, deren Antworten auf statistischen Wahrscheinlichkeiten beruhen und deshalb bei identischer Eingabe variieren können. Gegenstand der Messungen sind ihre Ausgaben unter exakt dokumentierten Bedingungen. Nicht untersucht werden interne Modellgewichte, Repräsentationen im Netzwerk, sogenannte Attention-Muster oder andere interne Mechanismen, die von außen nicht einsehbar sind. Die Erhebungen sind dementsprechend keine Grundlagenforschung zur Funktionsweise von Sprachmodellen. Die Datenerhebung erfolgt skriptgesteuert über dokumentierte Schnittstellen (APIs). Dabei werden die vollständigen Modellausgaben zusammen mit allen für die Auswertung nötigen Metadaten unverändert archiviert.

Was gemessen wird

  • das von außen beobachtbare Antwortverhalten unter definierten, protokollierten Bedingungen
  • Nennungen, Reihenfolgen und konkrete Empfehlungen von Unternehmen, Institutionen oder Städten
  • zitierte Quellen sowie der Einsatz der Websuche, sofern die jeweilige Programmierschnittstelle (API) beides transparent ausweist
  • die sachliche Richtigkeit faktischer Aussagen, sofern sich dafür eine eindeutige Vergleichsgrundlage herstellen lässt
  • die Schwankungen zwischen wiederholten Abfragen, verschiedenen Erhebungstagen und unterschiedlichen Systemen

Was nicht gemessen wird

  • interne Modellkausalitäten, also die Frage, aus welchen internen Gründen ein Modell einen bestimmten Satz formuliert
  • das reine Modellwissen als isolierte Eigenschaft, sobald die Websuche zugeschaltet ist
  • das Verhalten aller ChatGPT-Nutzer
  • eine universelle „KI-Sichtbarkeit“ über alle denkbaren Systeme, Prompts und Anwendungskontexte hinweg
  • die ursächliche Wirkung einzelner SEO- oder Marketingmaßnahmen, solange kein kontrolliertes Experiment mit einer gezielten Intervention vorliegt
  • die fachliche oder touristische Qualität der untersuchten Anbieter, Einrichtungen oder Reiseziele

Begriffe und Beobachtungseinheiten

Eine Fallzahl wie „n = 240“ lässt sich nicht sinnvoll beurteilen, wenn nicht klar definiert ist, was genau gezählt wurde. Deshalb verwenden alle Studien des Monitors durchgehend dieselben Grundbegriffe:

BegriffBedeutung
Beobachtungseinheiteine vollständige Antwort aus einem einzelnen API-Aufruf, archiviert im genauen Wortlaut
Prompteine definierte Eingabe an das untersuchte System; Wortlaut und Zeitpunkt der Festlegung werden im Studienprotokoll dokumentiert
Zelleeine feste Kombination der Versuchsbedingungen, beispielsweise aus Prompt bzw. Szenario, Sprache und untersuchtem System
Wiederholungein separater API-Aufruf derselben Zelle in einem neuen Kontext ohne vorherigen Gesprächsverlauf
Welleeine geschlossene Gruppe von Abfragen zu einem dokumentierten Zeitpunkt, in der Regel an einem Erhebungstag
Zielentitätdas Objekt, dessen Erwähnung oder Platzierung untersucht wird, je nach Fragestellung etwa eine Bank, eine Stiftung oder eine Stadt
Zielgrößedie Kennzahl, anhand derer die jeweilige Fragestellung ausgewertet wird, beispielsweise die Nennungsquote oder die Erstempfehlungsquote

Warum diese Unterscheidung in der Praxis so wichtig ist, zeigt die Studie zur Weihnachtsstadt Lübeck. Sie umfasst 240 Abfragen je Messzyklus. Hinter dieser Gesamtzahl stehen allerdings keineswegs 240 völlig unterschiedliche Fragestellungen. Untersucht werden vielmehr 24 definierte Zellen (sechs inhaltliche Szenarien in vier Sprachen), und jede dieser Zellen wird zehnmal abgefragt, verteilt auf fünf Erhebungswellen an fünf verschiedenen Tagen. Die zehn Antworten zu genau derselben Zelle teilen sich denselben Prompt, dieselbe Sprache, denselben Standortkontext und dasselbe System; sie bilden methodisch eine zusammengehörige Gruppe, ein sogenanntes Cluster. Für statistische Auswertungen dürfen sie deshalb nicht ohne Weiteres wie zehn voneinander völlig unabhängige Beobachtungen behandelt werden.

Technische Messbedingungen

Die genaue Konfiguration eines Schnittstellenaufrufs kann die Antworten eines Sprachmodells spürbar verändern. Für jede Untersuchung werden daher die für die Messung relevanten technischen Parameter erfasst. Für Studien, die nach Fassung 1.0 dieser Seite (21.08.2026) beginnen, gilt die nachfolgende Übersicht vollständig; bei älteren Erhebungen gilt der Stand, der im damaligen Studienprotokoll festgehalten wurde.

ParameterWas dokumentiert wird
Anbieter und Schnittstelleder Anbieter und der exakte Endpunkt der Programmierschnittstelle, etwa die OpenAI Responses API oder die Gemini API
Modellkennungdie exakte technische Modellbezeichnung beim Aufruf, einschließlich des Hinweises, ob es sich um einen veränderlichen Modellnamen (Alias) oder einen fixierten Versionsstand (Snapshot) handelt
ZeitpunktDatum, Uhrzeit und Zeitzone jeder einzelnen Abfrage sowie das gesamte Erhebungsfenster der Studie
Websuche und Toolsob Werkzeuge wie die Websuche aktiviert waren, wie sie konfiguriert wurden und ob das System sie bei der jeweiligen Abfrage tatsächlich genutzt hat
Standortkontextübergebene Standortdaten je Zelle (etwa der API-Parameter user_location), statt Standortvorgaben behelfsmäßig in den Text des Prompts zu schreiben
Systemprompt und Ausgabeformatder genaue Wortlaut eines übergebenen Systemprompts (oder dessen Fehlen) sowie etwaige Formatvorgaben wie Structured Output
Sampling und Reasoninggesetzte Parameter für Zufall und Nachdenktiefe, soweit die Schnittstelle diese anbietet (etwa Temperature oder Reasoning-Stufen), jeweils samt Begründung der Wahl
Ausgabelimiteine maximal erlaubte Textlänge für die Antwort, sofern ein Limit gesetzt wurde
Kontextführungob jede Abfrage isoliert in einem frischen Kontext ohne vorherigen Dialogverlauf gestartet wurde (etwaige Abweichungen werden ausgewiesen)
Ablauf der Erhebungdie Reihenfolge der Abfragen, eingehaltene Wartezeiten und eine eventuelle parallele Ausführung
Fehlerbehandlungvorab definierte Regeln für technische Wiederholungsversuche und für den Ausschluss gestörter Abfragen; verlorene Abfragen werden mitgezählt und berichtet
Messsoftwaredas für die jeweilige Studie programmierte Messskript, dessen Quellcode vor Erhebungsbeginn im Studienprotokoll festgeschrieben wird

Die konkreten Einstellungen – beispielsweise die exakten Modellkennungen – werden im jeweiligen Studienprotokoll aufgeführt. Ob ein Modell für seine Ausführungen auf die Websuche zurückgreift, verändert die Interpretation der Ergebnisse grundlegend: In diesem Fall fließen aktuelle externe Suchergebnisse in den Kontext ein, womit sich das ursprüngliche Modellwissen nicht mehr isoliert erfassen lässt. Aus diesem Grund wird die Nutzung der Websuche für jeden einzelnen Aufruf protokolliert, je Prompt ausgewertet und im Studienbericht offengelegt.

Eine Programmierschnittstelle verhält sich überdies nicht zwingend wie die öffentlich zugängliche Web- oder App-Oberfläche eines KI-Chatbots. Über die API lassen sich Modell und technische Parameter gezielt festlegen. Die normale Chat-Oberfläche für Endnutzer kann dagegen zusätzliche Produktkonfigurationen und je nach Tarif andere Modelle oder Einstellungen verwenden. Alle Ergebnisse des Monitors beziehen sich deshalb ausdrücklich auf die dokumentierte Schnittstellen-Konfiguration und erheben nicht den Anspruch, jede denkbare Interaktion in der Endnutzer-Oberfläche identisch nachzubilden. Sofern eine Studie ergänzend prüfen soll, wie weit die API-Werte von der Endnutzer-Oberfläche abweichen, legt ihr Studienprotokoll dies vorab fest – einschließlich der Vergleichskriterien, der Stichprobengröße und des Auswertungsverfahrens.

Wiederholungen und zeitliche Verteilung

Weil generative Sprachmodelle auf Wahrscheinlichkeiten basieren, können sie auf ein und dieselbe Eingabe jedes Mal einen etwas anderen Text ausgeben. Eine einzelne Antwort betrachte ich daher stets als eine einzelne Beobachtung, keinesfalls als „die“ feste Position eines Systems. Um belastbare Zielgrößen wie Nennungs- oder Erstempfehlungsquoten zu ermitteln, werden definierte Zellen deshalb wiederholt abgefragt.

Wie viele Durchläufe dafür nötig sind, hängt von der Fragestellung ab. Bei Ja-Nein-Entscheidungen – etwa der Frage, ob ein bestimmtes Unternehmen in der Antwort überhaupt vorkommt – bestimmt die Zahl der Beobachtungen direkt, wie präzise sich der tatsächliche Anteil schätzen lässt. Allerdings richtet sich der Stichprobenumfang nicht allein nach der angestrebten Breite eines statistischen Unsicherheitsintervalls. Entscheidend sind ebenso die Zahl der verschiedenen Zellen, die Häufigkeit der Wiederholungen innerhalb derselben Zelle und die später geplanten Vergleiche. Wie oft gefragt wird, legt jedes Studienprotokoll gesondert fest und begründet es nachvollziehbar. Dokumentiert wird dabei stets, wie sich die erhobenen Antworten auf Prompts, Systeme, Sprachen und Wellen verteilen, damit sich die statistische Belastbarkeit für das konkrete Design beurteilen lässt. In der Bankenstudie Lübeck waren beispielsweise für jeden der sechs Leitprompts je System 100 Antworten vorgesehen; ergänzende Prompts wurden dagegen mit weniger Durchläufen erhoben und separat ausgewertet. Vorgeschaltete Probeläufe (Pretests) dienen ausschließlich dazu, das Messdesign technisch und inhaltlich abzustimmen; ihre Daten fließen niemals in die berichteten Quoten ein.

Zeitliche Verteilung der Wiederholungen

Wiederholt man dieselbe Abfrage innerhalb eines kurzen Zeitfensters, erfasst man vor allem die zufällige Variation des Modells unter weitgehend gleichbleibenden Bedingungen. Weil sich Modellversionen, Websuchergebnisse und externe Datenquellen im Zeitverlauf jedoch verändern können, verteile ich die Abfragen bei geeigneten Erhebungen auf mehrere Tage. Auf diese Weise lässt sich beobachten, ob gemessene Anteile stabil bleiben oder zwischen einzelnen Erhebungstagen schwanken.

Umgang mit der Clusterstruktur

Wenn zehn Antworten auf denselben Prompt, dieselbe Sprache und dasselbe System zurückgehen, hängen sie inhaltlich zusammen. Sie bilden eine gemeinsame Gruppe (ein sogenanntes Cluster) und dürfen in der statistischen Auswertung nicht einfach wie vollständig unabhängige Einzelmessungen behandelt werden. Berechnet eine Untersuchung ein Unsicherheitsmaß, das solche Gruppeneffekte berücksichtigt – etwa über einen Designeffekt, also einen Korrekturfaktor für die Ähnlichkeit innerhalb einer Gruppe -, beschreibt das Studienprotokoll das genaue Vorgehen und die gewählte Clustereinheit. Werden dagegen einfache, unbereinigte Intervalle berichtet, wird dies im Text ausdrücklich betont und die Aussagekraft entsprechend vorsichtiger eingeordnet.

Vorabfestlegungen und Änderungen

Eine verlässliche Studie muss sauber trennen, welche Hypothesen und Regeln bereits vor der ersten Abfrage feststanden und welche Erkenntnisse sich erst nachträglich aus den fertigen Daten ergeben haben. Jede Untersuchung des Monitors unterscheidet deshalb drei Ebenen:

  1. Vorab festgelegt sind alle Zielgrößen, Prompt-Wortlaute, Auswertungsregeln und Entscheidungskriterien, die vor der ersten für sie relevanten Datenerhebung schriftlich dokumentiert wurden.
  2. Explorativ sind Auswertungen, deren Fragestellung oder Auswertungsweg sich erst nach Sichtung der Daten ergeben hat – beispielsweise wenn nachträglich analysiert wird, mit welchen Attributen die Modelle ihre Empfehlungen begründen. Solche Auswertungen werden im Bericht unmissverständlich als explorativ gekennzeichnet, damit nicht der Eindruck entsteht, es habe sich um von Beginn an geplante Prüfungen gehandelt.
  3. Folgeanalysen sind eigenständige Nachuntersuchungen oder zusätzliche Messreihen, die auf den Ergebnissen einer bestehenden Erhebung aufbauen. Auch sie werden strikt getrennt vom ursprünglichen Versuchsaufbau dargestellt.

Alle drei Ebenen können innerhalb eines Projekts vorkommen. Entscheidend ist allein, dass für Leserinnen und Leser jederzeit nachvollziehbar bleibt, zu welchem Zeitpunkt eine methodische Entscheidung getroffen wurde.

Um diesen Zeitpunkt verbindlich festzuhalten, werden alle vorab definierten Unterlagen vor Erhebungsbeginn eingefroren. Dazu gehören die Prompt-Dateien und das Messskript. Für jede Datei wird eine sogenannte SHA-256-Prüfsumme im Studienprotokoll hinterlegt – ein kryptografischer Fingerabdruck, über den sich später zweifelsfrei nachweisen lässt, ob eine Datei noch dem dokumentierten Stand entspricht oder auch nur um ein einziges Zeichen verändert wurde. Diese eingefrorenen Ausgangsdateien bleiben während der Erhebung unangetastet. Werden währenddessen Anpassungen an der Ablaufsteuerung oder ergänzende Auswertungen nötig, geschehen sie separat vom eingefrorenen Stand und werden mit Datum und Begründung protokolliert. Sollte eine eingefrorene Datei in Ausnahmefällen doch korrigiert werden müssen, entsteht daraus eine neue Versionsnummer, und die genaue Abweichung wird im Bericht offengelegt.

Mit einer SHA-256-Prüfsumme lässt sich später prüfen, ob eine Datei exakt mit dem dokumentierten Stand übereinstimmt. Liegt die Prüfsumme allerdings nur lokal auf dem eigenen Rechner, belegt sie für sich genommen noch nicht, an welchem Tag und zu welcher Uhrzeit dieser Dateistand erstmals existiert hat – dafür wäre ein extern überprüfbarer Zeitstempel nötig. Für kleinere Untersuchungen und die monatlichen Erhebungen des Branchen-Radars arbeite ich weiterhin mit diesen lokal eingefrorenen Studienprotokollen und bezeichne sie bewusst nicht als formale Präregistrierung. Größere Studien registriere ich seit Oktober 2026 vor der Hauptmessung zusätzlich mit externem Zeitstempel auf der Plattform Open Science Framework (OSF). Erstmals geschah das bei der bundesweiten Weltmarktführer-Studie (registriert am 4. Oktober 2026, DOI 10.17605/OSF.IO/89WEU). Bei dieser Registrierung wurden das Studienprotokoll, das Codebuch, die Auswertungsregeln sowie die Mess- und Auswertungsskripte unveränderbar archiviert; öffentlich zugänglich ist der Eintrag seit der Veröffentlichung der Studienergebnisse. Eine solche externe Registrierung schließt nachträgliche Anpassungen nicht aus, macht sie aber für jeden transparent überprüfbar.

Änderungs- und Abweichungsprotokoll

Müssen während einer laufenden Erhebung technische Abläufe oder methodische Details nachjustiert werden, hält das Studienprotokoll den Zeitpunkt, den Grund und die möglichen Folgen für das Ergebnis fest:

DatumAbweichungGrundEinfluss auf die Auswertung
15.08.2026Vorprüfung der Wellenzählung ergänzt (Weihnachtsstadt-Studie)Ein Programmabbruch vor der ersten gespeicherten Antwort hätte einen leeren Wellenordner hinterlassen können, den die Zählung fälschlich als abgeschlossene Welle gewertet hätte.keiner; betroffen war ausschließlich die technische Ablaufsteuerung, nicht die Wortlaute, Antworten oder Auswertungsregeln

Das Protokoll dokumentiert ehrlich, worauf sich eine Planänderung ausgewirkt hat. So bleibt nachvollziehbar, ob lediglich ein technischer Fehler im Abrufskript behoben wurde oder ob sich nach ersten Datensichtungen eine inhaltliche Definition verschoben hat. Auch eigene Fehleinschätzungen werden dort festgehalten – wie etwa in der Bankenstudie, in der sowohl eine korrigierte Kostenschätzung als auch die Behebung eines Fehlers bei gemeinsam ausgewerteten Prompt-Blöcken transparent nachgetragen wurden.

Extraktion, Codierung und Validierung

Zwischen der unveränderten Rohtext-Antwort eines KI-Modells und einer fertigen Prozentquote im Studienbericht liegen mehrere Zwischenschritte. Jede Studie macht diesen Weg vollständig nachvollziehbar:

Rohantwort→Extraktion→Normalisierung→Codierung→Validierung→Auswertung

Die Rohantwort ist die ursprüngliche Ausgabe des Sprachmodells; sie wird vollständig und im exakten Wortlaut archiviert. Die Extraktion filtert aus diesem Fließtext heraus, welche Zielentitäten (etwa Unternehmen oder Städte) genannt wurden und an welcher Position sie stehen. Die Normalisierung vereinheitlicht unterschiedliche Schreibweisen, sodass beispielsweise die Nennung „Lübecker Weihnachtsmarkt“ korrekt der Stadt Lübeck zugerechnet wird. Die Codierung wendet schließlich die vorab definierten Regeln an und legt etwa fest, was als Erstempfehlung gilt. Die Validierung beziffert schließlich, wie verlässlich und fehlerfrei diese automatisierten Schritte gearbeitet haben.

Zwei Extraktionsverfahren

Ist der Kreis der gesuchten Namen vorab bekannt und in sich geschlossen – wie bei den elf Lübecker Bankinstituten -, erfolgt die Auswertung über einen fest programmierten Textabgleich (String-Matching) gegen eine eingefrorene Variantenliste. Liegen dieselbe Antwort und dieselbe Liste vor, liefert dieses Verfahren zwingend immer dasselbe Ergebnis. Es arbeitet also deterministisch (ohne Zufallselemente) und fügt den ohnehin schwankenden Modellausgaben keine zusätzliche, modellbedingte Auswertungsvarianz hinzu.

Ist die Zahl der möglichen Namen dagegen offen – wie bei den Städtenennungen in der Weihnachtsstadt-Studie -, liest ein zweites Sprachmodell die Rohtexte und extrahiert die Nennungen in eine feste tabellarische Struktur. Bei jedem erkannten Treffer muss dieses Modell ein wörtliches Zitat aus der Rohantwort als Beleg mitliefern. Unbekannte Namen laufen als offene Fälle auf und werden vor der statistischen Auswertung von Hand geprüft und zugeordnet.

Kommt für diese Extraktion ein Sprachmodell zum Einsatz, werden auch dessen Modellkennung, der verwendete Prompt, die Parameter und das Ausgabeschema im Studienprotokoll festgehalten. Die Ausgabe dieses Hilfsmodells gilt keineswegs als unfehlbare Wahrheit (Ground Truth), sondern als automatisierter Zwischenschritt, dessen Genauigkeit systematisch durch manuelle Stichproben kontrolliert werden muss. Den genauen Umfang dieser Kontrollstichprobe und die Maße für die Übereinstimmung legt das Studienprotokoll vorab fest; berichtet werden die Größe der Kontrollstichprobe und das verwendete Übereinstimmungsmaß. Wie wichtig solche Prüfungen sind, zeigte der Pretest zur Bankenstudie: Dort führte die Formulierung „Volks-/Raiffeisenbank“ durch das einfache Suchmuster raiffeisenbank fälschlicherweise dazu, dass die Bank als Institut aus dem Lübecker Umland codiert wurde. Der Fehler konnte so vor Beginn der Haupterhebung korrigiert und im Protokoll offengelegt werden.

Referenzdaten für Faktenprüfungen

Untersucht eine Studie, ob die Aussagen eines Sprachmodells sachlich zutreffen, muss vorab bestimmt werden, welche Quellen als Vergleichsmaßstab dienen. Das Studienprotokoll dokumentiert hierfür einen festen Stichtag, die Rangfolge der herangezogenen Quellen und die Regeln für den Fall, dass Angaben unvollständig sind oder sich Quellen widersprechen. Als Maßstab dienen bevorzugt offizielle Primärquellen der jeweiligen Einrichtung – bei Öffnungszeiten eines Museums beispielsweise dessen eigene Website.

Fehlt eine Angabe auf der offiziellen Seite, wird die KI-Aussage deshalb nicht automatisch als falsch eingestuft. Lässt sich für eine Behauptung keine verlässliche Vergleichsgrundlage finden, wird sie als nicht überprüfbar eingestuft und gesondert ausgewiesen. Nach diesem Grundsatz verfährt beispielsweise die Studie zur KI-Reiseplanung in Lübeck, die Angaben aus KI-generierten Reiseplänen gegen die aktuellen Webseiten der jeweiligen Orte und Einrichtungen abgleicht.

Statistische Auswertung

Für die Auswertung gilt: Berichtet wird stets das tatsächlich eingesetzte Verfahren samt seinen methodischen Grenzen. Das bedeutet im Einzelnen:

  • Bei Prozentwerten werden neben dem eigentlichen Schätzwert (Punktschätzung) stets 95-%-Unsicherheitsintervalle angegeben. Ein solches Intervall gibt an, wie genau ein Anteil unter dem gewählten Versuchsaufbau geschätzt werden kann, und berücksichtigt die zufällige Schwankung der Antworten; es beschreibt dagegen nicht den Bereich, in dem künftige Messergebnisse liegen werden. Bei Ja-Nein-Raten bildet das sogenannte Wilson-Intervall die rechnerische Basis – ein Schätzverfahren, das auch bei kleinen Fallzahlen oder sehr niedrigen Quoten verlässliche Grenzen liefert. Werden Zellen mehrfach abgefragt, weist der Bericht aus, ob und wie diese Gruppenstruktur bei der Berechnung der Unsicherheit berücksichtigt wurde.
  • Einzelne Erhebungen arbeiten mit vorab festgelegten, konservativen Entscheidungsregeln. In der Weihnachtsstadt-Studie gilt ein Unterschied zwischen zwei Städten beispielsweise erst dann als „klar bestätigt“, wenn sich die Unsicherheitsintervalle von Platz eins und Platz zwei nicht überlappen. Eine solche Vorgabe ist ein bewusst gewähltes Kriterium des Studiendesigns; sie ersetzt allerdings keinen formalen statistischen Signifikanztest, denn auch bei überlappenden Intervallen kann rechnerisch ein nachweisbarer Unterschied bestehen.
  • Die Erhebungen des Monitors sind weit überwiegend beschreibend (deskriptiv) angelegt. Schließende statistische Tests (Inferenzstatistik), die von einer Stichprobe verallgemeinernd auf eine Grundgesamtheit schließen, kommen nur zum Einsatz, wenn Forschungsfrage, Messaufbau und Fallzahlen dies methodisch sauber rechtfertigen. Ist das nicht der Fall, beschränke ich mich auf Quoten, Effektstärken und Unsicherheitsintervalle und deklariere die Vergleiche klar als deskriptiv.
  • Technische Abbrüche und Fehlversuche werden lückenlos mitgeschrieben. Jedes Studienprotokoll definiert vorab, wann ein fehlgeschlagener Abruf wiederholt werden darf, wann eine einzelne Zelle nachgeholt wird und ab wann ein ganzer Durchlauf verworfen werden muss. Wiederholte oder ausgeschlossene Abfragen bleiben in den Protokollen jederzeit sichtbar.
  • Vor Beginn der Datenanalyse wird festgeschrieben, wann eine technisch erfolgreiche Antwort als inhaltlich gültig gewertet wird. Das betrifft etwa leere Texte, verweigerte Antworten oder Ausgaben in der falschen Sprache. Jeder Ausschluss wird samt Begründung protokolliert, sodass aus den veröffentlichten Zahlen exakt hervorgeht, wie viele Abfragen geplant waren, wie viele technisch funktionierten und wie viele tatsächlich in die Quoten eingeflossen sind.
  • Auswertungsblöcke bleiben getrennt. Kontroll- und Markenabfragen, die den Namen eines Unternehmens bereits im Prompt vorgeben und eine Erwähnung dadurch künstlich erzwingen, werden strikt getrennt von offenen Suchanfragen ausgewertet.

Reproduzierbarkeit und Forschungsdaten

Bei Untersuchungen generativer KI muss man klar unterscheiden zwischen einem exakt wiederholbaren Verfahren und einem identisch reproduzierbaren Einzelergebnis. Weil kommerzielle Sprachmodelle fortlaufend im Hintergrund aktualisiert werden und ohnehin mit Wahrscheinlichkeiten arbeiten, lässt sich eine frühere Textausgabe zu einem späteren Zeitpunkt selten Wort für Wort reproduzieren.

Ziel meiner Dokumentation ist es deshalb, das Vorgehen methodisch wiederholbar zu machen und die zum Erhebungszeitpunkt gemessenen Antworten überprüfbar zu belegen. Dazu archiviere ich alle Rohantworten im vollen Wortlaut, verknüpft mit der genauen Modellkennung, der Schnittstellen-Konfiguration und dem Zeitstempel jedes einzelnen Aufrufs. Jede veröffentlichte Quote lässt sich somit Schritt für Schritt auf die Rohdaten zurückführen – selbst dann, wenn das Sprachmodell Wochen später auf dieselbe Frage völlig anders antwortet. Eine spätere Nachmessung kann bei identischem Versuchsaufbau also abweichende Ergebnisse liefern.

Prüfwerkzeuge im KI-Suche Wiki

Einzelne Zwischenschritte der Datenanalyse können Sie mit den kostenlosen Werkzeugen im KI-Suche Wiki selbst ausprobieren. Verfügbar sind dort unter anderem Rechner für Nennungs- und Zitatquoten sowie Funktionen, um zitierte Quellen nach Webadresse, Host und Domain zusammenzufassen. Der Referenzbogen zum Antwortkontext unterstützt Sie dabei, die genauen Rahmenbedingungen einer gespeicherten Ausgabe strukturiert zu dokumentieren.

Diese Werkzeuge prüfen und verarbeiten die eingegebenen Daten rein rechnerisch. Ob die Zusammenfassung bestimmter Antworten inhaltlich sinnvoll ist und welche statistischen Voraussetzungen dabei erfüllt sein müssen, lässt sich nur anhand der jeweiligen Studienmethodik entscheiden.

Veröffentlichte Studienmaterialien

Jede Studienseite dokumentiert mindestens die Forschungsfrage, die verwendeten Prompts und Szenarien, die technischen Messbedingungen, das Auswertungsregelwerk, etwaige Protokolländerungen und die Grenzen der Aussagekraft. Nach Abschluss einer Erhebung stelle ich zudem die Rohdaten und Auswertungstabellen bereit, soweit dem keine rechtlichen Vorgaben oder Datenschutzgründe entgegenstehen.

Auf dieser Website präsentiere und erläutere ich die jeweiligen Erhebungen. Für eine dauerhafte wissenschaftliche Sicherung genügt ein persönlicher Webserver auf lange Sicht jedoch nicht. Bei der Weltmarktführer-Studie sind die Mess- und Auswertungsskripte deshalb über die OSF-Registrierung dauerhaft und zitierfähig archiviert. Für die eigentlichen Datensätze ist eine solche Archivierung in einem anerkannten Forschungsrepositorium weiterhin geplant; sobald die Anbindung steht, wird sie auf der jeweiligen Studienseite verlinkt.

Methodische Fragen und Grenzen

Zu den häufigsten methodischen Fragen gehören:

Sind wiederholte Antworten statistisch unabhängig?

Eine vollständige Unabhängigkeit der Beobachtungen setze ich nicht voraus. Antworten, die zur selben Zelle gehören, teilen zentrale Versuchsbedingungen wie Prompt, Sprache und System. Jedes Studienprotokoll legt deshalb offen, wie die Abfragen über Zellen und Wellen verteilt sind und ob und wie diese Clusterung bei der Berechnung von Unsicherheitsmaßen berücksichtigt wird.

Entsprechen API-Ergebnisse der Chat-Oberfläche?

Nein, nicht zwingend. Gemessen wird ausschließlich das Verhalten der dokumentierten Programmierschnittstelle. Ohne eine gesonderte Validierung lassen sich diese Ergebnisse nicht eins zu eins auf die Web-Oberfläche oder die Smartphone-Apps der Anbieter übertragen.

Erlauben Sichtbarkeitsunterschiede direkte Rückschlüsse auf SEO-Maßnahmen?

Nein. Die Erhebungen decken statistische Zusammenhänge und wiederkehrende Antwortmuster auf. Ob eine bestimmte Optimierungsmaßnahme für eine verbesserte Sichtbarkeit ursächlich verantwortlich ist, lässt sich daraus erst ableiten, wenn diese Maßnahme im Rahmen eines kontrollierten Experiments gezielt getestet wird.

Behalten die Ergebnisse auch in sechs Monaten ihre Gültigkeit?

Das lässt sich nicht voraussetzen. Sprachmodelle, Websuch-Algorithmen und verarbeitete Webquellen können sich in diesem Zeitraum verändern. Jede Erhebung dokumentiert deshalb ein klar abgegrenztes Zeitfenster. Spätere Wiederholungs- oder Kontrollmessungen werden stets als eigenständige Messzeitpunkte ausgewiesen und nie stillschweigend in die ursprünglichen Kennzahlen einbezogen.

Interessenkonflikte

Ich arbeite hauptberuflich in der Suchmaschinenoptimierung. Der Lübecker KI-Monitor ist davon organisatorisch unabhängig: Die Untersuchungen sind private, eigenfinanzierte Projekte und keine Auftragsarbeiten meines Arbeitgebers. Die in den Studien erfassten Unternehmen, Banken und Einrichtungen haben die Erhebungen weder beauftragt noch finanziell unterstützt. Eine etwaige Vorabkenntnis oder Beteiligung wird in der jeweiligen Studie ausdrücklich offengelegt.

Versionshistorie dieser Methodikseite

  • 1.1 · 12.10.2026 Sprachlich überarbeitet und um einen allgemein verständlichen ersten Teil ergänzt. Externe Registrierung größerer Studien bei OSF ergänzt (erstmals bei der Weltmarktführer-Studie am 4. Oktober 2026). Die übrigen methodischen Festlegungen sind unverändert.
  • 1.0 · 21.08.2026 Erstfassung der übergreifenden Methodik des Lübecker KI-Monitors. Für Studien, die vor diesem Datum begonnen wurden, bleibt das jeweilige Studienprotokoll maßgeblich.
Patrick Stolp

Wer hier schreibt

Ich bin Patrick Stolp, SEO-Berater aus Lübeck. Nach meinem kulturwissenschaftlichen Studium habe ich zunächst vom Schreiben gelebt; 2011 kam die Suchmaschinenoptimierung dazu. In der Angewandten Germanistik beschäftige ich mich intensiv mit großen Sprachmodellen, Schwerpunkt Sprachprogrammierung. Hauptberuflich leite ich bei der Netzhirsch GmbH in Bad Schwartau die SEO-Abteilung und bin dort zusätzlich Head of Automation.

Anfrage stellenMehr über meinen Werdegang und Hintergrund