Assistant virtuel: avis sur l’explicabilité

Termes et définitions

Qu’est-ce que Publio?

Publio, l’assistant virtuel du portail de l’Office des publications (portail de l’OP), est un outil d’IA qui interagit avec les personnes physiques et effectue des recherches à l’aide de mots-clés reposant sur des informations accessibles au public sur le portail de l’OP. Publio associe des techniques d’IA conversationnelle telles que le traitement du langage naturel et l’apprentissage automatique avec des systèmes interactifs de reconnaissance vocale et de recherche traditionnelle, afin d’aider les utilisateurs à trouver des publications et des actes législatifs de l’UE, ainsi que des personnes de contact dans les institutions européennes.

L’assistant virtuel permet spécifiquement des conversations parlées ou saisies entre les utilisateurs finaux et le portail de l’OP. Il est actuellement disponible en anglais, français et espagnol. Tout en étant utilisable par tous, l’assistant virtuel offre également une solution adaptée aux besoins des personnes ayant des difficultés de lecture, améliorant ainsi l’accessibilité. Il permet en outre une recherche conversationnelle, une nouvelle méthode de recherche qui permet aux utilisateurs de parler avec des phrases complètes — comme ils le feraient dans une conversation normale — à un assistant vocal alimenté par l’IA qui fournit les réponses. L’échange entre l’utilisateur et l’assistant virtuel prend la forme d’une conversation.

Quel type de données Publio utilise-t-il?

Publio utilise les informations accessibles au public sur le portail de l’OP. Ces informations sont publiées sur la base du principe de transparence applicable à l’ensemble des politiques et de la législation de l’UE. Sur la base de ce corpus, Publio utilise les classifications et les catégories disponibles sur le portail de l’OP, telles que les domaines EuroVoc, les auteurs ou le format, afin de guider et d’affiner la conversation et d’aider l’utilisateur à effectuer des recherches dans les trois principales collections du portail de l’OP: les publications de l’UE, le droit de l’UE et l’annuaire officiel de l’UE (EU Whoiswho).

Publio utilise un modèle de langage existant pour comprendre les questions posées par les utilisateurs et guider ceux-ci tout au long de leur parcours de recherche. Sur la base des avis des utilisateurs, le modèle de langage de Publio est constamment amélioré et entraîné pour répondre aux attentes des utilisateurs et s’adapter à la diversité de leurs entrées dans les trois langues prises en charge.

Cet entraînement couvre de nombreuses composantes du système qui sous-tend Publio:

• une série prédéfinie d’énoncés associés à différentes formes d’intention possibles pour permettre à Publio de saisir d’abord l’objectif final de l’utilisateur puis de guider celui-ci étape par étape vers la réalisation de cet objectif;
• une série prédéfinie de questions fixes que Publio «comprend» et pour lesquelles il peut fournir une réponse prédéfinie aux utilisateurs. Exemple: «comment puis-je commander des publications?»;
• des entités acquises par l’apprentissage automatique peuvent être identifiées par Publio et utilisées dans ses processus en arrière-plan pour détecter des paramètres de recherche et fournir des résultats de recherche plus précis ou des options permettant d’affiner davantage la recherche. Ces entités sont fondées sur la classification et les catégories de données existantes, telles que les thésaurus EuroVoc ou d’autres tables d’autorité gérées par EuroVoc: auteurs, formats, langues, organes (organisations) de l’UE, rôles fonctionnels dans le service public de l’UE, etc. Sur cette base, Publio peut par exemple comprendre, à partir de la requête de l’utilisateur, que ce dernier recherche une publication sur un sujet spécifique ou d’un auteur spécifique.

Comment Publio fonctionne-t-il?

Publio utilise la compréhension du langage conversationnel (CLU) (annexe 4) en combinaison avec un système d’extraction des entités fondé sur un grand modèle de langage (GML) pour traiter l’entrée de l'utilisateur (un énoncé écrit ou oral) avec précision et efficacité.
Le service de CLU fournit un premier aperçu de l’intention de l’utilisateur et des entités auxquelles il s’intéresse et, pour les requêtes plus complexes, la composante GML affine la reconnaissance de l’entité, garantissant de meilleurs résultats pour les phrases nuancées ou les demandes complexes. Sur la base de l’intention et des entités reconnues, Publio lance un flux de conversation personnalisé visant à aider les utilisateurs à atteindre le résultat visé en quelques étapes simples.

À l’heure actuelle, Publio met en œuvre 4 principaux flux de conversation:

• Recherche de documents pour aider les utilisateurs à rechercher des publications ou des documents juridiques de l’UE
• Recherche de personnes pour aider les utilisateurs à rechercher des fonctionnaires des institutions de l’UE
• Recherche d’organisations pour aider les utilisateurs à rechercher des organes de l’UE (organisations)
• Question et réponse pour fournir une réponse prédéfinie aux questions fréquentes.

Si un flux de recherche est reconnu, l’assistant virtuel guidera l’utilisateur dans la recherche d’un document, d’une personne ou d’une organisation pertinent(e) en lui posant des questions simples et, en fonction de sa réponse, proposera des options de filtrage.

Pour le flux de questions-réponses, le personnel de l’Office des publications tient à jour une liste de questions fréquemment posées et leurs réponses prédéfinies. Si l’intention de questions-réponses est reconnue et qu’il existe un degré élevé de similitude entre la question spécifique de l’utilisateur et l’une des questions enregistrées dans le système, une réponse appropriée sera directement renvoyée à l’utilisateur. Par exemple:

- si l’intention de questions-réponses est reconnue avec une requête telle que «Je souhaite télécharger un fichier», l’assistant répondra par «Pour télécharger un document, veuillez vous rendre sur la page présentant la publication en détail et cliquer sur le bouton ‘Téléchargement et langues’»;

- si l’intention de questions-réponses est reconnue avec une requête telle que «Où puis-je trouver des documents pour les enfants», l’assistant répondra «Les publications pour enfants sont disponibles dans le coin des enfants».

Les utilisateurs peuvent poser les questions par écrit ou oralement. L'agent conversationnel capture l’entrée audio (les questions posées oralement par l’utilisateur) et l’envoie à un moteur de reconnaissance vocale qui la convertit en texte. L’entrée audio est traitée par le service de reconnaissance vocale Microsoft Azure (annexe 5). Publio affiche ensuite les mots issus de l’entrée audio interprétés par le moteur de reconnaissance vocale, avant d’afficher la réponse par écrit et à l’oral à l’aide d’une voix de synthèse. Cet échange est instantané (il se produit instantanément) et éphémère (il ne laisse aucune trace).

Comment Publio analyse-t-il la question et propose-t-il des résultats?

Publio n’utilise pas de GML ni aucune autre technologie d’IA générative pour générer les réponses fournies aux utilisateurs. Tous les messages de Publio reposent sur des modèles prédéfinis. Publio utilise un modèle de langage d’apprentissage automatique qui est entraîné (modèle de langage entraîné) pour apprendre à reconnaître les entrées des utilisateurs et à y répondre. Ce modèle est chargé de traiter le message ou la requête de l’utilisateur, d’identifier l’intention du message et d’apporter une réponse appropriée. Le processus d’entraînement de Publio consiste à fournir au modèle d’apprentissage automatique un grand nombre de données étiquetées, qui comprennent des exemples d’entrées des utilisateurs, ainsi que leurs intentions et les réponses plausibles correspondantes.

Publio utilise le traitement du langage naturel, le modèle de langage entraîné et un GML pour comprendre l’intention de l’utilisateur et extraire de la question de l’utilisateur les entités reconnues (par exemple: terme de recherche, objet, auteur, date du document et format du document). Publio utilise ces entités pour effectuer la recherche et afficher les résultats.

Si les résultats de la recherche sont trop vastes, Publio poursuit la conversation en posant des questions supplémentaires à l’utilisateur, afin d’affiner les résultats de la recherche à l’aide de filtres appliqués à d’autres entités.

Les questions formulées par Publio se limitent à identifier l’intention de l’utilisateur, à en saisir la finalité et à formuler la requête de recherche appropriée au corpus de contenu publié sur le portail de l’OP. Les résultats proposés par Publio proviennent entièrement de ce corpus.

Avis des utilisateurs

À tout moment de la conversation, l’utilisateur final peut fournir un avis positif, neutre ou négatif sur son expérience de l’utilisation de Publio. Il peut s’agir d’un avis manuel introduit par l’utilisateur à tout moment ou en réponse à une fenêtre contextuelle automatique qui s’affiche après quelques secondes d’inactivité. En outre, les questions qui ne sont pas correctement «comprises» par Publio sont automatiquement enregistrées et traitées périodiquement par une équipe de l’Office des publications. Les avis des utilisateurs et l’analyse des questions qui ne sont pas correctement «comprises» par Publio sont utilisés pour réentraîner le modèle de langage en vue d’améliorer en permanence les services fournis aux utilisateurs finaux.

Traitement des données privées

Les données disponibles sur le portail de l’OP sont traitées conformément au règlement général de l’UE sur la protection des données (RGPD) et au règlement relatif au traitement des données à caractère personnel par les institutions, organes et organismes de l’UE (annexe 6).

Publio ne stocke, ne conserve ou n’archive aucun élément, que ce soit l’entrée de l’utilisateur ou les éléments fournis au moyen des réponses de Publio.

Les avis recueillis sont anonymisés de sorte qu'il est impossible de les relier à l’utilisateur auprès duquel ils ont été recueillis.

Aucune donnée à caractère personnel n’est utilisée de quelque manière que ce soit pour la prise de décision, le traçage ou le profilage automatisés. Lorsqu’on utilise des grands modèles de langage (GML) pour extraire des entités, les seules données échangées entre Publio et le GML sont la question de l’utilisateur et le résultat préliminaire d’extraction de l’entité généré par CLU. Aucune donnée à caractère personnel de l'utilisateur n’est partagée ou transmise.

Tous les services utilisés par Publio sont hébergés dans des centres de données européens et toutes les données sont traitées conformément à la réglementation de l’UE en matière de protection des données.

Limites actuelles

• Transcription vocale des noms: si la plupart des noms sont «compris» et transcrits correctement, l’extraction du nom repose sur l’apprentissage automatique et n’est pas exacte à 100 %. En raison des limites liées à CLU, certains noms ne sont pas correctement extraits, même après avoir entraîné le modèle avec les exemples spécifiques de l’ensemble de données.
• Dates en français et en espagnol: la «compréhension» des dates est moins précise en espagnol et en français dans des contextes plus complexes. Par exemple, l’année sera reconnue en espagnol en utilisant «entre 2016 y 2017» sans contexte supplémentaire, alors qu’elle ne sera pas reconnue avec «entre el año 2019 y 2020».
• La reconnaissance vocale ne fonctionne que dans une seule langue à la fois.
• Elle n’a pas de mode orthographique, ce qui signifie qu’elle ne dispose pas d'une fonctionnalité qui permettrait aux utilisateurs d’épeler des mots lettre par lettre afin de garantir une transcription exacte.
• La reconnaissance de l’entité du nom ne fonctionne pas bien dans des expressions plus vastes lorsqu’elle est associée à «Mme»/«Mlle».

Office des publications de l’Union européenne, 16 mai 2023.