KI-Antworten verändern sich mit Modell, Zeitpunkt und Formulierung. Einzelne Stichproben liefern deshalb kaum belastbare Aussagen über die digitale Sichtbarkeit eines Unternehmens. Ein festes Messprotokoll trennt Beobachtung von Interpretation, macht Veränderungen vergleichbar und verhindert, dass Marketingentscheidungen auf zufälligen Treffern beruhen.
Unternehmen beobachten zunehmend, dass Interessent:innen nicht mehr ausschließlich klassische Trefferlisten verwenden. Fragen zu Anbietern, Methoden oder Kaufentscheidungen landen auch in KI-gestützten Such- und Antwortsystemen. Dort kann eine Organisation genannt, fachlich eingeordnet, als Quelle verlinkt oder vollständig übergangen werden. Diese verschiedenen Fälle unter dem Sammelbegriff „KI-Sichtbarkeit“ zusammenzufassen, erschwert jedoch jede belastbare Auswertung.
Ein spontaner Test liefert zunächst nur eine Momentaufnahme. Bereits eine leicht veränderte Frage kann andere Quellen und Empfehlungen hervorbringen. Auch Modellversion, Region, Sprache, Zeitpunkt und ein vorhandener Gesprächsverlauf beeinflussen das Ergebnis. Wer nach einer Website-Änderung nur eine passende Antwort findet, hat deshalb noch keinen Wirkungsnachweis. Benötigt wird ein Verfahren, das Bedingungen festhält, Beobachtungen wiederholt und Ergebnisse nach einheitlichen Regeln bewertet.
Sichtbarkeit in vier Stufen trennen
Eine reine Ja-oder-nein-Frage greift zu kurz. Für die Auswertung sind mindestens vier Stufen sinnvoll:
- Nennung: Der Name einer Organisation oder Marke erscheint in der Antwort.
- Einordnung: Die Antwort beschreibt Angebot, Zielgruppe oder Fachgebiet sachlich richtig.
- Quellenbezug: Eine Seite der Organisation wird als nachvollziehbare Quelle angegeben oder verlinkt.
- Empfehlung: Die Organisation wird in einem passenden Entscheidungszusammenhang als Option aufgeführt.
Diese Stufen messen unterschiedliche Qualitäten. Eine Namensnennung kann auf Bekanntheit hindeuten, sagt aber nichts über die korrekte Beschreibung aus. Eine Empfehlung wirkt stark, kann ohne Quellenbezug jedoch schwer überprüfbar sein. Ein verlinktes Dokument besitzt wiederum einen anderen Wert als eine bloße Erwähnung. Das Messprotokoll sollte die Stufen daher getrennt erfassen, statt daraus vorschnell einen einzigen Sichtbarkeitswert zu bilden.
Auch klassische Suchdaten bleiben wichtig. Google erklärt für seine KI-Funktionen, dass Auftritte in AI Overviews und AI Mode im allgemeinen Web-Bericht der Search Console enthalten sind. Ein eigener, vollständig getrennter Kanal entsteht dort nicht. Microsoft stellt dagegen in der öffentlichen Vorschau von AI Performance unter anderem Zitierungen und zitierte Seiten für unterstützte KI-Oberflächen dar. Beide Ansätze liefern wertvolle Signale, beantworten aber nicht jede Frage zur konkreten Darstellung einer Organisation.
Das Messdesign beginnt mit echten Entscheidungsfragen
Die Qualität einer Messung hängt stärker vom Fragenkorpus als vom verwendeten Werkzeug ab. Ausgangspunkt sollten reale Informationsbedürfnisse sein: Welche Fragen stellen Kund:innen vor dem Erstkontakt? Welche Kriterien vergleichen sie? Welche Begriffe verwenden sie für ein Problem, wenn der Name der Lösung noch unbekannt ist?
Ein brauchbarer Korpus umfasst meist 20 bis 30 Fragen und deckt mehrere Suchabsichten ab:
- Problemverständnis, etwa Ursachen oder typische Fehler
- Lösungswege und Methoden
- Vergleich von Vorgehensweisen
- Auswahlkriterien für Anbieter
- regionale oder branchenspezifische Anforderungen
- Fragen nach Erfahrung, Risiken oder Kosten
Markenfragen gehören in eine eigene Gruppe. Die Frage „Was ist über Unternehmen X bekannt?“ prüft etwas anderes als „Welche Anbieter helfen mittelständischen Betrieben bei Thema Y?“. Werden beide Typen vermischt, steigt der Wert bereits dann, wenn ein System nur auf eine direkte Namensfrage reagiert. Das kann eine gute Markeneinordnung zeigen, aber noch keine Auffindbarkeit bei ungestützter Recherche.
Fragen unverändert versionieren
Jede Frage erhält eine feste Kennung und bleibt innerhalb einer Messreihe unverändert. Anpassungen werden als neue Version dokumentiert. Schon der Wechsel von „welche“ zu „die besten“ verändert die Erwartung an eine Antwort. Ebenso kann ein zusätzlicher Ortsbezug die Auswahl deutlich verschieben.
Zu jeder Prüfung gehören mindestens Datum, Uhrzeit, System, Modell oder sichtbare Produktversion, Sprache, Region, Konto- oder Anmeldestatus sowie die Information, ob ein neuer Chat verwendet wurde. Ein frischer Gesprächskontext verhindert, dass frühere Eingaben die Antwort unbemerkt vorbereiten. Falls Personalisierung nicht sicher ausgeschlossen werden kann, muss diese Einschränkung im Protokoll stehen.
Rohdaten und Bewertung getrennt speichern
Das Protokoll sollte Originalantwort und Bewertung in getrennten Feldern führen. Die Rohantwort bleibt unverändert erhalten; Nennung, Einordnung, Quellenbezug und Empfehlung werden daneben codiert. Korrekturen überschreiben den Ausgangstext nicht, sondern erhalten einen Zeitstempel und eine kurze Begründung. Damit bleibt später prüfbar, ob sich die Antwort selbst oder lediglich die Bewertung verändert hat. Diese Trennung erleichtert außerdem eine erneute Auswertung, falls das Raster präzisiert werden muss.
Wiederholungen machen Streuung sichtbar
Generative Antworten sind nicht in jedem Lauf identisch. Ein einziges Ergebnis darf deshalb weder als Erfolg noch als Verlust interpretiert werden. Für einen kompakten Praxistest sind drei Wiederholungen je Frage und System ein sinnvoller Anfang. Bei besonders wichtigen Entscheidungsfragen können fünf Läufe die Streuung besser zeigen.
Entscheidend ist ein konstanter Ablauf. Alle Durchgänge sollten in einem engen Zeitfenster, unter vergleichbaren Bedingungen und ohne nachträgliche Rückfragen erfolgen. Antworten werden vollständig gespeichert oder mit Zeitstempel dokumentiert. Neben dem Text gehören sichtbare Quellen, deren Reihenfolge und die verlinkten Zielseiten in das Protokoll.
Aus den Wiederholungen entstehen einfache, nachvollziehbare Kennzahlen:
- Nennungsquote: Anteil der Läufe mit einer Namensnennung
- Einordnungsquote: Anteil der Läufe mit fachlich korrekter Beschreibung
- Zitierquote: Anteil der Läufe mit mindestens einer eigenen Seite als Quelle
- Empfehlungsquote: Anteil der Läufe mit einer kontextuell passenden Empfehlung
- Konsistenz: Anteil der Fragen, bei denen das Ergebnis in mehreren Läufen dieselbe Bewertungsstufe erreicht
Diese Quoten sollten je Fragengruppe, System und Messzeitpunkt ausgewiesen werden. Ein zusammengefasster Gesamtwert kann Veränderungen verdecken. Steigt beispielsweise die Nennungsquote bei Markenfragen, während ungestützte Vergleichsfragen unverändert bleiben, ist vor allem die Markenerkennung besser geworden. Das ist nützlich, aber ein anderer Befund als eine breitere Marktpräsenz.
Ein Bewertungsraster reduziert Interpretationsspielraum
Freitext verleitet zu subjektiven Urteilen. Deshalb braucht jede Stufe klare Regeln. Eine Nennung zählt nur, wenn die Organisation eindeutig identifizierbar ist. Eine Einordnung gilt nur dann als korrekt, wenn zentrale Angaben zu Angebot und Zielgruppe stimmen und keine wesentliche Falschinformation enthalten ist. Ein Quellenbezug zählt ausschließlich bei einer sichtbaren, anklickbaren URL zur eigenen Domain. Eine Empfehlung muss zur gestellten Frage passen; eine zufällige Aufzählung ohne Begründung genügt nicht.
Zusätzlich sollten Fehlerklassen notiert werden. Dazu gehören veraltete Leistungsbeschreibungen, falsche Standorte, verwechselte Personen, erfundene Referenzen oder Links auf unpassende Seiten. Eine steigende Nennungsquote bei gleichzeitig wachsender Fehlerquote wäre kein Fortschritt. Für Entscheider:innen ist die Verlässlichkeit der Darstellung mindestens so wichtig wie die Reichweite.
Bei mehreren Prüfer:innen hilft eine kurze Kalibrierungsrunde. Alle bewerten zunächst dieselben Antworten und vergleichen Abweichungen. Erst wenn Grenzfälle einheitlich entschieden werden, beginnt die eigentliche Messung. So wird verhindert, dass ein Team Quellenbezüge streng und ein anderes großzügig bewertet.
Änderungen nur mit Vorher-nachher-Logik bewerten
Ein Messprotokoll wird besonders wertvoll, wenn Inhalte überarbeitet werden. Vor der Änderung entsteht eine Baseline. Danach folgt genügend Zeit für Crawling, Indexierung und mögliche Verarbeitung durch die jeweiligen Systeme. Anschließend wird derselbe Fragenkorpus unter denselben Bedingungen erneut geprüft.
Dabei sollte pro Testfenster möglichst nur ein klar abgegrenztes Maßnahmenpaket bewertet werden. Werden gleichzeitig Texte, interne Links, strukturierte Daten und externe Kommunikation verändert, lässt sich ein Unterschied kaum einer Ursache zuordnen. Kontrollfragen zu unveränderten Themen helfen zusätzlich: Schwanken auch sie stark, spricht das eher für allgemeines Messrauschen als für einen Effekt der bearbeiteten Inhalte.
Technische Grundlagen dürfen nicht mit neuen Spezialdateien verwechselt werden. Google weist darauf hin, dass für die eigenen KI-Funktionen keine besonderen KI-Markups erforderlich sind. Relevant bleiben indexierbare Seiten, erreichbare Inhalte, interne Verlinkung, gute Seitenerfahrung und strukturierte Daten, die mit dem sichtbaren Inhalt übereinstimmen. Das Messprotokoll ersetzt diese Grundlagen nicht; es zeigt lediglich, ob und wie sich Veränderungen in beobachtbaren Antworten niederschlagen.
KI-Sichtbarkeit und Suchleistung gemeinsam lesen
Die manuelle Antwortprüfung beschreibt Darstellung und Quellenbezug. Search Console, Webmaster Tools und Webanalyse liefern ergänzend Impressionen, Klicks, Einstiegsseiten und Verhalten auf der Website. Erst die Verbindung verhindert Fehlinterpretationen.
Ein Anstieg der Zitierquote ohne zusätzliche Besuche kann bedeuten, dass Inhalte häufiger als Beleg dienen, aber selten angeklickt werden. Mehr organische Einstiege ohne veränderte KI-Beobachtung sprechen möglicherweise für klassische Suchgewinne. Steigen sowohl passende Quellenbezüge als auch qualifizierte Besuche und Anfragen, verdichtet sich die Evidenz für eine geschäftlich relevante Verbesserung.
Auch Plattformdaten besitzen Grenzen. Die Dokumentation des Search-Console-Leistungsberichts beschreibt unterschiedliche Aggregationen nach Property oder Seite sowie vorläufige Daten im kurzfristigen Zeitfenster. Microsoft betont für AI Performance, dass die Zahl der Zitierungen weder Rang noch Bedeutung einer Seite innerhalb einer einzelnen Antwort ausdrückt. Kennzahlen müssen deshalb entsprechend ihrer Definition gelesen werden und dürfen keine Genauigkeit vortäuschen, die die Quelle nicht liefert.
Ein belastbares Protokoll bleibt bewusst nüchtern
KI-Sichtbarkeit lässt sich derzeit nicht auf eine universelle Rangposition reduzieren. Plattformen unterscheiden sich, Antworten variieren und nicht jede Oberfläche stellt granulare Daten bereit. Gerade deshalb lohnt ein festes Messverfahren. Es dokumentiert, was tatsächlich beobachtet wurde, trennt verschiedene Sichtbarkeitsstufen und macht Unsicherheit sichtbar.
Für kleine und mittlere Unternehmen ist keine komplexe Messplattform erforderlich, um damit zu beginnen. Ein versionierter Fragenkorpus, ein eindeutiges Bewertungsraster, wiederholte Prüfungen und eine saubere Vorher-nachher-Logik reichen für belastbarere Entscheidungen als gelegentliche Selbstsuchen. Der wichtigste Fortschritt besteht nicht in einer möglichst großen Zahl, sondern in einer Messung, die auch bei kritischer Prüfung nachvollziehbar bleibt.
