Votre contenu est-il vraiment de bonne qualité?

La qualité d'un chatbot dépend entièrement du contenu sur lequel il s'appuie. Des pages obsolètes et des incohérences peuvent passer inaperçues sur un site web pendant des années. Un chatbot les met impitoyablement en évidence, car il lit tout et cite ce qu'il trouve. Nous avons donc développé un outil qui vérifie le contenu avant que le bot ne donne une réponse en s'appuyant sur celui-ci. Lorsqu'un chatbot dit quelque chose d'erroné, le problème vient rarement du modèle. En général, il se trouve à la page 1'243.

Un chatbot est un lecteur très attentif

Prenons l’exemple d’Acme Inc, entreprise fictive d’automatisation basée à Zurich et disposant d’un petit site web: 25 pages, une seule équipe, une poignée de services, quelques actualités et événements, ainsi que les mentions légales habituelles. La page d’accueil indique « fondée en 1987 ». La page « À propos » précise « depuis notre création en 1994 ». Jonas Brunner est directeur financier sur la page « Équipe », mais un article d’actualité datant du mois de mai le félicite en tant que responsable de l’ingénierie robotique. Le délai de réponse dans l’abonnement à la maintenance prédictive est de quatre heures, ou de 24 heures, selon la page consultée.
Chacune de ces informations constitue une petite erreur. Bien sûr, personne ne lit les deux pages en même temps. Elles passent donc inaperçues et ne sont jamais corrigées. Un chatbot, lui, les lit toutes les deux et répond d’une manière ou d’une autre en fonction de la question posée.

Sur un site de 25 pages, quelqu’un finirait bien par repérer ce genre d’erreur. Nos clients gèrent des sites web comptant plus de 15 000 pages, qui se sont développés sur une dizaine d’années ou plus et sont gérés par des dizaines d’équipes éditoriales et des centaines de rédacteur·trice·s. Personne là-bas ne sait ce que le site web affirme dans son ensemble, et aucun être humain ne peut garantir la qualité à une telle échelle. Raison pour laquelle nous automatisons le contrôle de la qualité du contenu, ce qui implique tout d’abord de définir ce qu’on entent par « bonne qualité ».

Un contenu « de qualité »

Nous décomposons la « qualité » en trois niveaux, dans l'ordre dans lequel une machine peut les vérifier. Tout d'abord, les faits objectifs, puis le jugement du lecteur et enfin le contexte du système.

En résumé:

• La qualité du contenu consiste à vérifier si le contenu est exact (exactitude, exhaustivité, actualité, cohérence).
• La qualité communicative consiste à vérifier s’il parvient au lecteur (compréhensibilité, pertinence, structure, ton).
• La qualité fonctionnelle consiste à vérifier s’il fonctionne au sein du système (facilité de recherche, accessibilité, crédibilité, facilité de maintenance).

Certains de ces critères relèvent encore du jugement éditorial. Cependant, une partie étonnamment importante de cette liste peut être vérifiée par une machine.

Trois questions

Dans la liste, nous avons retenu les trois points les plus problématiques sur les grands sites web:

1. Cohérence: où le contenu se contredit-il? Horaires d’ouverture, tarifs, dates limites, responsabilités, chiffres. Une même information figure souvent à trois endroits différents, et au moins l’un d’entre eux est obsolète.
2. Actualité: qu’est-ce qui n’est plus valable? Le contenu dont les informations sont périmées: une date limite d’inscription de l’année dernière, une date déjà dépassée.
3. Pertinence: les utilisateurs posent-ils des questions auxquelles le contenu n’apporte aucune réponse? C’est la lacune la plus invisible. Personne ne se plaint d’une page qui n’existe pas.

Un audit de contenu manuel répond à ces questions pour un échantillon, une seule fois, et est déjà obsolète au moment où il est terminé. Nous voulions un outil capable de vérifier l’ensemble du site et pouvant être utilisé de manière répétée.

Analyse de la qualité du contenu

Nous avons développé dans LiipGPT un module que nous appelons «Analyse de la qualité du contenu», ou CQA en abrégé, «c’est quoi?» quand on veut faire les malins. Il explore un site web et effectue trois vérifications (une par question ci-dessus). Le résultat est une liste classée par ordre de priorité de constatations concrètes accompagnées de leurs sources, qu’une personne doit ensuite valider ou rejeter.

1. Le détecteur de contradictions

Une approche naïve consisterait à comparer chaque page avec toutes les autres. Avec 1'691 pages, cela donnerait environ 1,4 million de paires, dont la plupart n’ont aucun rapport entre elles. Nous procédons donc par étapes:

1. Extraction des affirmations. Un modèle linguistique extrait de chaque page les faits vérifiables: « année de création : 1987 », « temps de réponse de la maintenance prédictive: 4 heures », « Jonas Brunner: directeur financier ». Chaque affirmation se voit attribuer un type et une entité.
2. Recherche de candidates. Les affirmations sont représentées sous forme de vecteurs. Nous ne prenons en compte que les paires sémantiquement proches, quelle que soit la section du site web dans laquelle elles se trouvent.
3. Filtrage rapide, vérification approfondie. Un petit modèle élimine les paires manifestement inoffensives. Un modèle plus puissant évalue ce qui reste par rapport aux pages complètes, à trois reprises de manière indépendante. Seules les informations confirmées par au moins deux des trois analyses sont intégrées au rapport.

La dernière étape est délibérément la plus coûteuse. Nous préférons avoir peu de résultats valables plutôt que de nombreux résultats que l’équipe doit revérifier manuellement.
Pour Acme Inc, l’entonnoir se présente ainsi: 25 pages, 178 allégations, 78 paires candidates, trois contradictions confirmées.

Sur un site réel comptant environ 1'700 pages, 8'680 affirmations ont généré près de 38 millions de paires théoriques, et sept contradictions confirmées subsistaient à la fin.

2. Contenu obsolète

La deuxième vérification est moins spectaculaire, mais reste souvent la plus grande surprise. CQA examine l’ancienneté du contenu par section et recherche les dates limites déjà dépassées: « s’inscrire avant le 31 mars 2025 », « valable jusqu’à fin 2024 ». Un analyseur de dates multilingue permet de distinguer une date limite d’une date narrative (« en 2019, nous… »).
Sur le site d’Acme, six des 25 pages n’ont pas été mises à jour depuis plus de trois ans, dont quatre depuis plus de cinq ans, parmi lesquelles la politique de confidentialité datant de 2019 et une note relative au COVID datant de mars 2020. De plus, le site affiche toujours des dates limites dépassées: un appel à candidatures pour un apprentissage clôturé en mars 2024 et la mention « sur rendez-vous uniquement jusqu’au 30 avril 2020 » figurant dans la note relative au COVID. Sur le site réel mentionné ci-dessus, 37% des pages n’avaient pas changé depuis plus de deux ans. Les anciennes pages ne sont pas nécessairement erronées, mais elles indiquent à l’équipe par où commencer.

3. Alignement des intentions

La troisième vérification nécessite un chatbot opérationnel, car elle utilise les vraies questions posées par les utilisateur·trice·s. Le CQA regroupe ces questions par intention, nomme chaque groupe (« commander des pièces détachées », « tarifs des contrats de maintenance ») et fait appel à un modèle pour déterminer si le contenu existant répond à la question du groupe, y répond partiellement ou pas du tout.

Pour Acme Inc, nous avons mis en place un chatbot LiipGPT et lui avons posé 1'240 questions du type de celles que poseraient des clients et des prospects. Résultat: 18 intentions, 11 répondues, 5 partiellement répondues, 2 non répondues. Exemple de réponse partielle: « Quel est le délai de livraison des pièces détachées?» La page consacrée aux pièces détachées explique comment passer commande, mais ne mentionne pas les délais de livraison. Questions non répondues: «Êtes-vous actifs en dehors de l’Europe? » et «Proposez-vous des solutions de leasing ou de financement?». Le site web ne répond à aucune de ces deux questions, bien qu’elles reviennent souvent.

Sur un chatbot à grande échelle du secteur public, le tableau se présentait ainsi: 107'000 questions, 111 intentions, les 50 plus fréquentes évaluées comme suit: 22 ont reçu une réponse, 21 une réponse partielle, 7 aucune réponse. La lacune la plus importante était à la fois banale et coûteuse. Les utilisateurs souhaitaient obtenir une adresse e-mail et n’en ont pas reçu dans 63% des cas, car le contenu n’en comportait aucune.

Mesures concrètes pour l’équipe

Une liste de tâches plutôt qu’un audit. Au lieu de dire « la qualité du contenu est de 6,4 sur 10 », le système renvoie une véritable liste de tâches: « ces sept passages se contredisent, ces douze échéances sont dépassées, le public pose des questions sur ces deux sujets et le site web n’y répond pas». Chaque constat est accompagné d’une URL. Les corrections peuvent immédiatement être apportées.
Tri par responsable. Les résultats peuvent être filtrés par section du site web et, une fois le mappage en place, par unité organisationnelle responsable. Le service Communication voit ses résultats, les RH voient les leurs.
Répétable. Une analyse peut être relancée après chaque refonte du site, ou simplement tous les trimestres. Les résultats résolus disparaissent, apparaissent à nouveau, et le chatbot s’améliore sans que personne n’ait à modifier le modèle, les requêtes ou la configuration.

Ce que ce n'est pas

CQA n'est pas un correcteur orthographique et ne réécrit pas le texte. Il ne remplace pas le travail éditorial et ne juge pas si un texte est complet ou compréhensible. Cela reste du travail humain, et les outils de référencement naturel (SEO) sont plus efficaces pour améliorer la visibilité. Par ailleurs, «confirmé» signifie «confirmé trois fois par un modèle linguistique», et non par une personne. La décision finale quant à savoir qui de 1987 ou 1994 est la réponse correcte revient à un·e collaborateu·trice d'Acme. L'outil se contente de s'assurer que la question soit posée.

Jetez un œil à la page 1'243

Si vous envisagez de créer un chatbot, si vous en exploitez déjà un et que vous vous demandez pourquoi il affirme parfois des choses qui « ne sont pas tout à fait exactes », ou si vous souhaitez simplement savoir quelles pages doivent être améliorées en priorité : nous serons ravis d'en discuter avec vous.