Le chatbot ConfIAnce, un an après

Il y a un peu moins d’un an, nous vous avions présenté le chatbot ConfIAnce. Mandaté par les HUG, nous avons développé ce robot conversationnel dont l’objectif est de proposer un accès facilité et interactif aux informations médicales produites sur les maladies chroniques courantes et validées par l’établissement médical.

Un article publié par les initiateurs et initiatrices de ce projet dans le dernier numéro de la prestigieuse Revue Médicale Suisse dresse un bilan provisoire, un an après la mise en ligne publique.

Un chatbot officiel plutôt que des réponses parfois erronées sur le net

La médecine de premier recours, essentielle au bon fonctionnement du système de santé, fait face à une pénurie croissante, même en ville. Faute d’accès à leur médecin traitant, les patients sont incités à rechercher des réponses sur internet, qui sont souvent erronées voire dangereuses.

Dans ce contexte, une solution IA bien pensée pourrait apporter la bonne information au bon moment.

C’est pourquoi nous avons accompagné les HUG à développer un chatbot de type RAG (Retrieval Augmented Generation). ConfIAnce n’est pas le premier chatbot destiné aux patients. Cependant, il se distingue par “son ancrage institutionnel, l’utilisation de contenus médicaux validés localement, et la mise en place de couches de contrôle pour garantir la fiabilité des réponses”.

Pour garantir la sécurité, il intègre des systèmes de contrôle rigoureux: matching, groundedness, harmfulness, tests automatiques, routage sémantique.

Garder le contrôle de l’outil pour assurer la qualité

L’un des enjeux est de bien garder le contrôle de l’outil, ce qui nécessite des fonctionnalités de surveillance du chatbot. Pour ce faire, des tests automatisés sont effectués sur l’ensemble des réponses apportées aux questions posées. On y mesure la cohérence factuelle de la réponse générée par le chatbot par rapport au contenu de la base de connaissances (faithfullness).

De plus, un routage, ajustable par les administrateurs, garantit un contrôle humain en filtrant et en dirigeant les questions de manière appropriée. Les administrateurs peuvent aussi mettre le chatbot immédiatement hors ligne en cas de suspicion de dysfonctionnement.
Les thèmes peu abordés dans les documents sources et qui sont pourtant un sujet de questions vont aussi être développés pour enrichir la base de connaissances dans un processus d’amélioration continue.

Un tel outil, aussi performant soit-il, n’est utile que s’il est adopté

Pour que le chatbot soit utilisé par les patients, les HUG ont mené une campagne d’information publique. L’objectif était de promouvoir l’outil, tout en restant réaliste quant aux attentes des patient·e·s.

Ce n’est pas un dispositif médical qui se substitue à une visite, mais bien un soutien informationnel permettant de répondre à des questions portant sur les maladies chroniques les plus courantes chez les adultes.

En février 2025, ConfIAnce sort en version beta. Entre début février et fin octobre 2025, 3'823 utilisateurs ont interagi avec le chatbot, donnant lieu à 5'969 conversations et 11'781 questions (soit environ deux questions par conversation).

Les feedbacks donnés directement au chatbot sont à 75% positifs.

Une bonne acceptabilité de ce chatbot différent des autres

Si les chatbots dans le parcours de santé sont bien acceptés par les patients par leur disponibilité continue et leur facilité d’usage, des études montrent que les problèmes décelés concernent l’hétérogénéité de la qualité des réponses données et l’opacité des sources utilisées.

Ce sont là des éléments qui permettent de distinguer ConfIAnce d’autres chatbots médicaux.

Destiné à encourager, et non à remplacer, les relations directes entre les patients et les médecins, ConfIAnce “permet de soutenir les médecins de premier recours en leur libérant du temps de qualité pour pratiquer avec humanité le métier qu’ils ont choisi d’exercer.”

Les auteur·rices de l’article de la Revue Médicale Suisse soulignent à quel point ce chatbot développé dans le contexte spécifique des HUG et de leurs bases d’information pourrait être transposé dans d’autres contextes institutionnels.

Pour que la réussite soit au rendez-vous, il nous semble nécessaire de bénéficier d'abord de données de qualité comme c’était le cas ici. Mais ce n’est pas tout, les couches de contrôle, les tests automatiques et les feedbacks utilisateurs permettent ensuite une amélioration continue pour garantir la sécurité et la pertinence nécessaires à la confiance.