Erhebung abgeschlossen · Prüfung läuft
Wie zuverlässig plant ChatGPT einen Tag in Lübeck?
KI-Assistenten sind längst Reiseplaner. Wer nach einem Tag in Lübeck fragt, bekommt einen fertigen Plan mit Uhrzeiten, Orten und Wegen. Diese Erhebung prüft nicht, wer darin empfohlen wird, sondern ob der Plan durchführbar ist: Hat das genannte Haus an diesem Tag geöffnet, gibt es den Betrieb noch, sind die Wege in der eingeplanten Zeit zu schaffen? Dazu sind 90 Tagespläne für vier konkrete Termine im August entstanden. Ihre Angaben werden jetzt gegen die tatsächliche Datenlage der Betriebe geprüft.
Patrick Stolp · SEO-Experte · Lübeck
- Welle
- 5 von 5 erhoben
- Gültige Antworten
- 90 von 90
- Erhoben bis
- 2026-08-13
- Nächste Aktualisierung
- mit den ersten Prüfergebnissen, voraussichtlich Ende August 2026
Alle 90 Tagespläne liegen vor.
Stolp, Patrick (2026): Wie zuverlässig plant ChatGPT einen Tag in Lübeck? Laufende Erhebung. patrickstolp.de/ki-reiseplanung-luebeck/, Stand 2026-08-13.
Kurzfassung
Diese Erhebung beantwortet eine Frage: Kommt ein Gast durch den Tag, wenn er einen von ChatGPT erzeugten Tagesplan für Lübeck befolgt? Gemessen wird nicht, welche Häuser empfohlen werden, sondern ob die Angaben stimmen. Dazu werden neun vorab festgelegte Szenarien je zehnmal abgefragt, verteilt über fünf Erhebungstage, und jede einzelne Behauptung anschließend gegen die Datenlage des jeweiligen Betriebs geprüft.
Die Erhebung ist abgeschlossen, alle 90 Pläne liegen vor. Geprüft wird jetzt jede einzelne Behauptung darin; die Ergebnisse stehen anschließend an dieser Stelle. Bis dahin zeigt der folgende Abschnitt einen einzelnen Plan aus der ersten Welle, an dem die Prüflogik nachvollziehbar wird.
Ein geprüfter Tagesplan
So sieht aus, was ein Gast bekommt. Der folgende Plan stammt unverändert aus der ersten Erhebungswelle. Gefragt wurde nach einem Tag in der Lübecker Altstadt am Montag, dem 24. August 2026. Markiert sind die Stellen, deren Prüfung bereits abgeschlossen ist.
Szenario S2 · Ein Tag in der Altstadt · Montag, 24. August 2026 · Welle 1, Durchlauf 1
-
09:00
Holstentor und Holstentorplatz
Außenrundgang, Fotos, Salzspeicher an der Obertrave. -
09:30–10:45
Museum Holstentor
Ausstellung zur Stadtgeschichte, 45 bis 75 Minuten. -
10:50–11:20
Rathaus und Rathausmarkt
Spaziergang über die Breite Straße, Außenansicht. -
11:25–12:00
Marienkirche
Innenbesuch, Astronomische Uhr, 30 bis 40 Minuten. -
12:05–13:30
Mittagessen in der Altstadt
Vorschlag ohne feste Reservierungsangabe. -
13:35–14:30
Buddenbrookhaus
Als offene Station eingeplant, mit dem Zusatz, das Haus sei montags in der Regel geöffnet. Geprüft · nicht zugänglich
Auszug. Der vollständige Plan umfasst elf Stationen und ist Teil der veröffentlichten Rohdaten.
Vorläufig
Dieser Plan ist ein einzelnes Beispiel aus 90 erhobenen. Er zeigt die Prüflogik, aber keine Häufigkeit. Wie oft solche Stellen vorkommen, steht erst fest, wenn alle Behauptungen aus allen 90 Plänen geprüft sind.
Was schiefgeht
Geprüft wird nicht der Plan als Ganzes, sondern jede einzelne Behauptung darin. Sechs Fehlerklassen sind vorab festgelegt. Die Häufigkeiten folgen nach Abschluss der Prüfung, jeweils mit einem Konfidenzintervall.
| Fehlerklasse | Was geprüft wird | Anteil | 95-%-Intervall |
|---|---|---|---|
| Ort nicht zugänglich | Betrieb dauerhaft geschlossen, umgezogen oder umbenannt | – | – |
| Ruhetag übergangen | Station an einem Tag eingeplant, an dem geschlossen ist | – | – |
| Öffnungszeit falsch | Genannte Zeit weicht von der Website des Betriebs ab | – | – |
| Weg zu knapp | Eingeplante Wegdauer unterschreitet die tatsächliche | – | – |
| Preis falsch | Genannter Eintritt weicht vom veröffentlichten ab | – | – |
| Nicht prüfbar | Betrieb veröffentlicht keine belastbaren Angaben | – | – |
Tabelle 1: Vorab festgelegte Fehlerklassen. Werte folgen nach Abschluss der Prüfung.
Öffentliche Einrichtungen werden namentlich genannt. Einzelne Gastronomiebetriebe bleiben anonym, sofern die Nennung sie als negatives Beispiel exponieren würde.
Woher die Fehler kommen
Für jeden geprüften Ort wird zusätzlich erhoben, woran eine falsche Angabe liegt. Dieser Teil ist der eigentliche Ertrag der Erhebung, denn anders als das Antwortverhalten der KI lassen sich diese Ursachen von den Betrieben selbst abstellen.
Öffnungszeiten stehen nur im Bild oder im PDF
Folgt nach Abschluss des Crawls.
Website und Google-Unternehmensprofil widersprechen sich
Folgt nach Abschluss des Crawls.
Ein veralteter Portaleintrag steht über der eigenen Seite
Folgt nach Abschluss des Crawls.
Keine strukturierten Daten hinterlegt
Folgt nach Abschluss des Crawls.
KI-Crawler werden ausgesperrt, meist unbemerkt
Folgt nach Abschluss des Crawls.
Selbst prüfen
Wer einen Gastbetrieb, ein Hotel oder ein Museum in Lübeck führt, kann die Prüfung in wenigen Minuten selbst durchführen. Die folgenden Schritte entsprechen dem Vorgehen dieser Erhebung im Kleinen.
- Stellen Sie einem KI-Assistenten eine Frage, wie ein Gast sie stellen würde, und nennen Sie darin ein konkretes Datum in der Zukunft.
- Prüfen Sie, ob Ihr Haus überhaupt vorkommt und mit welcher Adresse.
- Vergleichen Sie die genannten Öffnungszeiten mit denen auf Ihrer Website.
- Vergleichen Sie beides mit Ihrem Google-Unternehmensprofil. Weichen die Angaben voneinander ab, ist offen, welche Fassung ein Gast zu sehen bekommt.
- Suchen Sie nach Ihrem Betrieb auf Portalen und prüfen Sie dort dieselben Angaben.
- Wiederholen Sie die erste Frage an einem anderen Tag. Verschiedene Antworten sind normal und selbst ein Ergebnis.
Hinweis
Diese Erhebung ist eigenfinanziert und verfolgt keinen Verkaufszweck. Für die Prüfung wird nichts benötigt, was Geld kostet.
So wird gemessen
Warum ein Datum im Prompt steht
Ohne Datum lässt sich keine Öffnungszeit prüfen. Jedes Szenario nennt deshalb einen konkreten Tag. Zwei der vier Termine fallen auf einen Montag, den klassischen Ruhetag im Museumsbetrieb. Das ist kein Fallenstellen, denn Montag ist ein normaler Anreisetag.
Warum zehn Wiederholungen an fünf Tagen
ChatGPT wechselt im Hintergrund zwischen mehreren Suchsystemen. Dieselbe Frage wird an verschiedenen Tagen unterschiedlich beantwortet. Eine einzelne Antwort beweist deswegen nichts. Die Wiederholungen werden über fünf Erhebungstage verteilt, damit die Streuung selbst messbar wird.
Warum das Standardmodell und nicht das beste
Gemessen wird, was ein Gast unter Alltagsbedingungen bekommt. Ein Reisender im Hotelzimmer tippt keine aufwendige Rechercheanfrage, sondern nimmt die Voreinstellung. Ein höherer Aufwand würde ein Produkt messen, das in dieser Situation kaum jemand verwendet.
Woher die Wirklichkeit kommt
Maßgeblich ist die Website des Betriebs, denn er verantwortet sie selbst. Widerspricht das Google-Unternehmensprofil, gilt die Website, und der Widerspruch wird als eigener Datenpunkt erfasst. Fehlt die Angabe auf der Website, entscheidet ein Telefonat. Bleibt ein Fall offen, gilt er als nicht prüfbar und fällt aus der Quote. Diese Regel ist bewusst konservativ und kann die berichtete Fehlerquote nur senken.
Die neun Szenarien im Wortlaut
Folgt mit der ersten vollständigen Fassung.
Vorab festgelegt und eingefroren
Szenarien und Auswertungsregeln standen vor Beginn der Erhebung fest und sind mit Prüfsummen hinterlegt. Damit ist nachprüfbar, dass nichts nachträglich an ein gewünschtes Ergebnis angepasst wurde.
Prüfsummen folgen mit der ersten vollständigen Fassung.
Grenzen der Aussagekraft
Diese Erhebung misst keine Qualität. Ob ein Museum sehenswert oder ein Restaurant gut ist, steht hier nicht zur Debatte. Gemessen wird ausschließlich, ob die Angaben in KI-erzeugten Tagesplänen mit der veröffentlichten Datenlage der Betriebe übereinstimmen.
Ebenso wenig ist dies eine Sichtbarkeitsstudie. Dass ein Haus häufig genannt wird, ist kein Gütezeichen, sondern nur der Grund, warum es in die Prüfung gelangt.
Kein Ergebnis wird als Aussage über OpenAI als Unternehmen formuliert. Gegenstand ist das Zusammenspiel aus der Datenlage der Betriebe und deren maschineller Weiterverarbeitung.
Erhebungstagebuch
Dieses Protokoll hält fest, was wann gemessen, entschieden und korrigiert wurde. Der neueste Eintrag steht oben.
-
2026-08-13 · Welle 5 abgeschlossen, 90 von 90 Antworten gültig
Erhebung vollständig
Die fünfte und letzte Welle ist erhoben. Über alle fünf Erhebungstage hinweg blieb kein Durchlauf ohne gültige Antwort. In jedem der 90 Pläne hat das Modell die Websuche benutzt, insgesamt 173 Mal, im Schnitt knapp zweimal je Plan. Die Erhebung hat 2,18 Euro gekostet.
Bemerkenswert ist die Websuche-Quote von 100 Prozent, denn sie schließt eine naheliegende Erklärung für falsche Angaben bereits aus: Das Modell antwortet nicht aus dem Gedächtnis. Was es zu einem Ort behauptet, entsteht nach einer Suche. Ob die Suche die richtigen Quellen findet und ob deren Angaben korrekt übernommen werden, ist genau die Frage der nächsten Phase.
Als Nächstes werden die Pläne in einzelne Behauptungen zerlegt und gegen die Datenlage der genannten Betriebe geprüft.
-
2026-08-09 · Welle 1 abgeschlossen, 18 von 18 Antworten gültig
Erhebung gestartet
Die erste von fünf Wellen ist erhoben. Auffällig war ein Szenario, das nach einem Kreuzfahrt-Landgang in Travemünde fragt: Der Ostpreußenkai ist seit Juni wegen Einsturzgefahr gesperrt, der einzige für dieses Jahr geplante Anlauf wurde nach Kiel verlegt. In keinem der bisherigen Durchläufe kam das vor.
-
2026-08-09 · vor Erhebungsbeginn
Szenario ausgetauscht, ursprüngliche Fassung als Kontrollfrage weitergeführt
Ein Szenario war zunächst als Kreuzfahrt-Landgang formuliert. Die Recherche vor dem Einfrieren ergab, dass Travemünde in diesem Jahr faktisch keine Kreuzfahrtschiffe abfertigt, womit die Frage keine Alltagssituation mehr abbildet. Sie wurde durch eine Fähranreise mit gleichem Zeitfenster ersetzt. Der ursprüngliche Wortlaut läuft als Kontrollfrage weiter und misst etwas anderes, nämlich ob eine lokale Veränderung vom Juni 2026 in den Antworten angekommen ist.
Kontakt und Nachnutzung
Rückfragen zur Methodik beantworte ich gern. Betriebe und Einrichtungen, die in der Erhebung vorkommen, erhalten ihre Einzelauswertung auf Anfrage nach Studienabschluss.
Die Erhebung ist eigenfinanziert und entstand ohne Auftrag, Beteiligung oder Vorabkenntnis eines der untersuchten Betriebe oder Verbände.