Ein Chatbot ist nur so gut wie der Content, auf dem er basiert. Veraltete Seiten und Widersprüche können jahrelang unbemerkt auf einer Website schlummern. Ein Chatbot deckt sie gnadenlos auf, weil er alles liest und zitiert, was er findet. Deshalb haben wir ein Tool gebaut, das den Content prüft, bevor der Bot daraus antwortet. Wenn ein Chatbot etwas Falsches sagt, liegt das Problem selten am Modell. Meistens liegt es auf Seite 1243.

Ein Chatbot ist ein sehr aufmerksamer Leser

Nehmen wir die Acme GmbH, eine fiktive Zürcher Automationsfirma mit einer kleinen Website: 25 Seiten, ein Team, eine Handvoll Services, ein paar News und Events, die üblichen Rechtsseiten. Auf der Startseite steht "gegründet 1987". Auf der Über-uns-Seite steht "seit unserer Gründung 1994". Jonas Brunner ist auf der Teamseite CFO, doch eine News vom Mai gratuliert ihm zur Position "Head of Robotics Engineering". Die Reaktionszeit im Abo für Predictive Maintenance beträgt 4 Stunden oder 24, je nachdem, welche Seite gerade offen ist.

Bei allen Beispielen handelt es sich um kleine Unstimmigkeiten. Die Chance ist klein, dass jemand aus dem internen Team die Abweichungen bemerkt. Ein Chatbot hingegen liest alle Varianten und antwortet je nach Frage so oder so.

Auf einer Website mit 25 Seiten werden die Unstimmigkeiten irgendjemandem irgendwann auffallen.

Unsere Kund*innen betreiben allerdings Websites mit über 15 000 Seiten, über 10 Jahre und mehr gewachsen, gepflegt von Dutzenden Redaktionsteams und Hunderten von Redaktor:innen. Niemand weiss dort, was die Website als Ganzes behauptet, und kein Mensch kann bei dieser Grösse Qualität garantieren.

Wir müssen Content-Qualität also automatisieren.

Dafür müssen wir zuerst definieren, was "gute Qualität" überhaupt ist.

"Guter" Content

Wir unterteilen "Qualität" in 3 Ebenen, und zwar in der Reihenfolge, in der eine Maschine sie prüfen kann:

  • zuerst objektive Fakten
  • dann das Urteil der Leser*innen
  • dann der Kontext des Systems

Kurz gefasst:

  • Die inhaltliche Qualität fragt, ob der Content stimmt (Korrektheit, Vollständigkeit, Aktualität, Konsistenz).
  • Die kommunikative Qualität fragt, ob er die Leser*innen erreicht (Verständlichkeit, Relevanz, Struktur, Tonalität).
  • Die funktionale Qualität fragt, ob er im System funktioniert (Auffindbarkeit, Barrierefreiheit, Glaubwürdigkeit, Wartbarkeit).

Einiges davon bleibt redaktionelles Urteil. Aber ein erstaunlich grosser Teil dieser Liste lässt sich maschinell prüfen.

3 Fragen

Aus dieser Liste haben wir die 3 Punkte genommen, die auf grossen Websites am meisten wehtun:

  • Konsistenz: Wo widerspricht sich der Content selbst? Öffnungszeiten, Gebühren, Fristen, Zuständigkeiten, Zahlen. Dieselbe Information steht oft an 3 Orten, und mindestens an einer Stelle ist sie veraltet.
  • Aktualität: Was ist abgelaufen? Content, dessen Fakten überholt sind: eine Anmeldefrist vom letzten Jahr, ein Datum, das verstrichen ist.
  • Relevanz: Stellen Nutzende Fragen, die der Content gar nicht beantwortet? Das ist die unsichtbarste Lücke. Über eine Seite, die es nicht gibt, beschwert sich niemand.

Ein manuelles Content-Audit beantwortet diese Fragen für eine Stichprobe, einmalig, und ist veraltet, sobald es fertig ist. Wir wollten etwas, das die ganze Website prüft und sich wiederholen lässt.

Content Quality Analysis

Wir haben in LiipGPT ein Modul gebaut, das wir Content Quality Analysis nennen – kurz CQA, "c’est quoi?", wenn wir uns fein geben wollen. Es crawlt eine Website und führt 3 Prüfungen durch (eine pro Frage oben). Das Ergebnis ist eine priorisierte Liste konkreter Befunde mit Quellen, die eine Person bestätigt oder verwirft.

Du willst den CQA kennenlernen? Termin vereinbaren

1. Der Widerspruchsfinder

Der naive Ansatz würde jede Seite mit jeder anderen vergleichen. Bei 1691 Seiten ergibt das rund 1,4 Millionen Paare, und die meisten haben nichts miteinander zu tun. Deshalb arbeiten wir in Stufen:

  1. Aussagen extrahieren: Ein Sprachmodell zieht von jeder Seite die prüfbaren Fakten heraus: "Gründungsjahr: 1987", "Reaktionszeit Predictive Maintenance: 4 Stunden", "Jonas Brunner: CFO". Jede Aussage erhält einen Typ und eine Entität.
  2. Kandidaten finden: Die Aussagen werden als Vektoren eingebettet. Wir betrachten nur Paare, die semantisch nahe beieinanderliegen, unabhängig davon, in welchem Bereich der Website sie stehen.
  3. Günstig filtern, aufwendig prüfen: Ein kleines Modell verwirft Paare, die offensichtlich harmlos sind. Ein starkes Modell beurteilt den Rest anhand der vollständigen Seiten, dreimal unabhängig. Nur was mindestens zwei von 3 Durchläufen bestätigen, kommt in den Bericht.

Die letzte Stufe ist bewusst die aufwendige. Uns sind wenige Befunde, die Bestand haben, lieber als viele, die das Team von Hand nachprüfen muss.

Für die Acme GmbH sieht der Trichter so aus: 25 Seiten, 178 Aussagen, 78 Kandidatenpaare, 3 bestätigte Widersprüche.

Auf einer echten Website mit rund 1700 Seiten ergaben 8680 Aussagen fast 38 Millionen theoretische Paare. Am Ende blieben 7 bestätigte Widersprüche übrig.

2. Veralteter Content

Die zweite Prüfung ist weniger spektakulär und trotzdem oft die grösste Überraschung. CQA schaut sich das Alter des Contents pro Bereich an und sucht nach Fristen, die bereits verstrichen sind: "Anmeldung bis 31. März 2025", "gültig bis Ende 2024". Ein mehrsprachiger Datumsparser unterscheidet eine Frist von einem erzählenden Datum ("2019 haben wir …").

Auf der Acme-Website wurden 6 der 25 Seiten seit über 3 Jahren nicht angefasst, 4 davon seit mehr als 5 Jahren, darunter die Datenschutzerklärung von 2019 und ein Covid-Hinweis vom März 2020. Ausserdem enthält die Website noch immer Fristen, die längst vorbei sind: einen Lehrstellenbeginn, dessen Bewerbungsfrist im März 2024 endete, und im Covid-Hinweis den Satz "nur nach Voranmeldung bis 30. April 2020". Auf der erwähnten echten Website waren 37 % der Seiten seit über 2 Jahren unverändert. Alte Seiten sind nicht zwingend falsch, aber sie zeigen dem Team, wo es zuerst hinschauen sollte.

3. Fragen ohne Antworten

Die dritte Prüfung braucht einen veröffentlichten Chatbot, denn sie nutzt die echten Fragen der Nutzenden. CQA gruppiert diese Fragen nach Absicht, benennt jede Gruppe ("Ersatzteile bestellen", "Preise für Wartungsverträge") und lässt ein Modell beurteilen, ob der bestehende Content die Gruppe beantwortet, teilweise beantwortet oder gar nicht.

Für die Acme GmbH haben wir einen LiipGPT-Chatbot aufgesetzt und ihm 1240 Fragen gestellt, wie sie Kundinnen und Interessentinnen stellen würden. Das Ergebnis: 18 Absichten, 11 beantwortet, 5 teilweise, 2 gar nicht. Teilweise etwa bei "Wie lange dauert die Lieferung von Ersatzteilen?" Die Ersatzteilseite erklärt, wie man bestellt, und sagt nichts zu Lieferzeiten. Gar nicht beantwortet sind "Arbeitet ihr auch ausserhalb Europas?" und "Bietet ihr Leasing oder Finanzierung an?". Die Website beantwortet beides nicht, obwohl beides oft gefragt wird.

Bei einem grossen Chatbot der öffentlichen Hand sah das Bild so aus: 107 000 Fragen, 111 Absichten, die 50 häufigsten beurteilt: 22 beantwortet, 21 teilweise, 7 gar nicht. Die grösste Lücke war banal und teuer zugleich. Menschen wollten eine E-Mail-Adresse und bekamen in 63 % der Fälle keine, weil im Content keine existiert.

Aufgaben für das Team

Eine Arbeitsliste statt eines Audits. Statt "die Content-Qualität liegt bei 6,4 von 10" liefert CQA eine konkrete To-do-Liste: "An diesen 7 Stellen widersprechen sich Seiten, diese 12 Fristen sind abgelaufen, das Publikum fragt nach diesen zwei Themen, und die Website beantwortet sie nicht." Jeder Befund zeigt eine URL. Eine Aufgabe lässt sich noch am selben Nachmittag beheben.

Nach Verantwortlichen sortiert. Befunde lassen sich nach Website-Bereich filtern und, sobald das Mapping steht, nach zuständiger Organisationseinheit. Die Kommunikation sieht ihre Befunde, die Personalabteilung die eigenen.

Wiederholbar. Die Analyse kann nach jedem Relaunch oder einfach jedes Quartal erneut laufen. Behobene Befunde verschwinden, neue erscheinen, und der Chatbot wird besser, ohne dass jemand Modell, Prompts oder Konfiguration anfasst.

Was CQA nicht ist

CQA ist keine Rechtschreibprüfung und schreibt keine Texte um. Es ersetzt kein redaktionelles Konzept und beurteilt nicht, ob ein Text vollständig oder für Menschen verständlich ist. Das bleibt menschliche Arbeit, und für die Auffindbarkeit sind SEO-Tools besser geeignet. Und "bestätigt" heisst dreimal von einem Sprachmodell bestätigt, nicht von einem Menschen. Ob 1987 oder 1994 stimmt, entscheidet jemand bei Acme. Das Tool stellt nur sicher, dass die Unstimmigkeit entdeckt wird.

Auf Seite 1243, unten

Du planst einen eigenen Chatbot? Oder du betreibst bereits einen und fragst dich, warum er manchmal Dinge behauptet, die "nicht ganz stimmen"? Oder du willst wissen, wo du mit der Überarbeitung deiner Website anfangen sollst? Wir haben Antworten auf diese Fragen und freuen uns auf einen Austausch.