Virtuele assistent: mededeling over verklaarbaarheid

Termen en definities

Wat is Publio?

Publio, de virtuele assistent van het portaal van het Bureau voor publicaties (OP-portaal), is een op AI gebaseerd instrument dat converseert met natuurlijke personen en zoekopdrachten uitvoert met behulp van trefwoorden op basis van informatie die openbaar beschikbaar is op het OP-portaal. Publio combineert technieken voor conversationele kunstmatige intelligentie (AI) zoals natuurlijke-taalverwerking (NLP) en machinaal leren (ML) met interactieve spraakherkenning en traditionele zoeksystemen om gebruikers te helpen bij het vinden van EU-publicaties, EU-wetgeving en contactpersonen bij de Europese instellingen.

Meer specifiek maakt de virtuele assistent gesproken of getypte gesprekken tussen eindgebruikers en het OP-portaal mogelijk. De virtuele assistent is momenteel beschikbaar in het Engels, Frans en Spaans. Hoewel de virtuele assistent door iedereen kan worden gebruikt, biedt hij ook een oplossing die is afgestemd op de behoeften van mensen met een leeshandicap, wat de toegankelijkheid ten goede komt. Bovendien wordt zo conversationeel zoeken mogelijk: een nieuwe manier van zoeken waarbij gebruikers – net als in een normaal gesprek – in volledige zinnen kunnen spreken met een door AI aangedreven spraakassistent die daarop reageert met antwoorden, en waarbij de uitwisseling tussen de gebruiker en de virtuele assistent de vorm heeft van een gesprek.

Welke soorten gegevens gebruikt Publio?

Publio maakt gebruik van de informatie die openbaar beschikbaar is op het OP-portaal. Die informatie wordt gepubliceerd op basis van het transparantiebeginsel dat van toepassing is op alle beleidsmaatregelen en wetgeving van de EU. Op basis van dat corpus gebruikt Publio indelingen en categorieën die beschikbaar zijn op het OP-portaal, zoals EuroVoc-onderwerpen, auteurs of formaten, om het gesprek te sturen en te verfijnen en de gebruiker te helpen zoeken in de drie belangrijkste collecties van het OP-portaal: EU-publicaties, EU-recht en de officiële gids van de EU (EU Whoiswho).

Publio gebruikt een bestaand taalmodel om de vragen van gebruikers te begrijpen en de gebruikers tijdens hun zoektraject te begeleiden. Op basis van feedback van gebruikers wordt het Publio-taalmodel voortdurend verbeterd en getraind om tegemoet te komen aan de verwachtingen van de gebruikers en in te spelen op de diversiteit van de gebruikersinput in de drie ondersteunde talen.

Deze training heeft betrekking op meerdere componenten van het onderliggende systeem van Publio:

• Een vooraf bepaalde reeks uitingen die verband houden met verschillende mogelijke soorten intenties om Publio in staat te stellen om, ten eerste, het einddoel van de gebruiker te begrijpen, en ten tweede, de gebruiker stap voor stap naar de verwezenlijking van dat doel te leiden.
• Een vooraf gedefinieerde reeks vaste vragen die Publio “begrijpt” en waarvoor hij gebruikers een vooraf bepaald antwoord kan geven. Voorbeeld: Hoe kan ik publicaties bestellen?
• Machinaal geleerde entiteiten die door Publio kunnen worden geïdentificeerd en in de achtergrondprocessen van Publio kunnen worden gebruikt om zoekparameters te detecteren, nauwkeurigere zoekresultaten aan te bieden of opties voor te stellen om de zoekopdracht verder te verfijnen. Deze entiteiten zijn gebaseerd op de bestaande indelingen en gegevenscategorieën zoals EuroVoc-thesauri of andere door EuroVoc beheerde referentietabellen: auteurs, formaten, talen, EU-organen (organisaties), functionele rollen in de overheidsdiensten van de EU enz. Op basis daarvan kan Publio bijvoorbeeld uit de zoekopdracht van de gebruiker opmaken dat de gebruiker een publicatie zoekt met een specifiek onderwerp of van een specifieke auteur.

Hoe werkt Publio?

Publio maakt gebruik van conversationeel taalbegrip (CLU, Conversational Language Understanding) (aanhangsel 4) in combinatie met een op een groot taalmodel (LLM, Large Language Model) gebaseerd systeem voor entiteitextractie om de input van gebruikers (een geschreven of gesproken uiting) nauwkeurig en efficiënt te verwerken.
CLU geeft een eerste inzicht in de intentie van de gebruiker en de gebruikte entiteiten. Bij complexere zoekopdrachten wordt de entiteitherkenning met behulp van de LLM-component verder verfijnd, wat betere resultaten oplevert voor genuanceerde zinnen of complexe verzoeken. Op basis van de gedetecteerde intentie en entiteiten initieert Publio een op maat gemaakte conversatiestroom om gebruikers te helpen het beoogde doel in enkele eenvoudige stappen te bereiken.

Momenteel maakt Publio gebruik van de volgende vier belangrijkste conversatiestromen:

• Zoeken naar documenten, om gebruikers te helpen bij het zoeken van EU-publicaties of juridische documenten van de EU.
• Zoeken naar personen, om gebruikers te helpen bij het zoeken van ambtenaren bij EU-instellingen.
• Zoeken naar organisaties, om gebruikers te helpen bij het zoeken van EU-organen (organisaties).
• Vraag en antwoord (“QnA”), om een vooraf vastgelegd antwoord te geven op veelgestelde vragen.

Als een “zoek”-stroom wordt herkend, zal de virtuele assistent de gebruiker begeleiden bij het zoeken van een relevant document of een relevante persoon of organisatie door de gebruiker eenvoudige vragen te stellen en, op basis van het antwoord van de gebruiker, filteropties voor te stellen.

Voor de QnA-stroom houdt het personeel van het Publicatiebureau een lijst bij van paren met veelgestelde vragen en hun standaardantwoorden. Wanneer “QnA” als intentie wordt herkend en er een hoge mate van gelijkenis is tussen de specifieke vraag van de gebruiker en een van de vragen die in het systeem zijn opgeslagen, wordt direct een passend antwoord naar de gebruiker teruggestuurd. Bijvoorbeeld:

- als de QnA-intentie wordt herkend met een zoekopdracht als “Ik wil een bestand downloaden”, antwoordt de assistent met “Om een document te downloaden, gaat u naar de pagina met gegevens over de publicatie en klikt u op de knop ‘Downloads en andere talen’.”;

- als de QnA-intentie wordt herkend met een zoekopdracht als “Waar kan ik documenten voor kinderen vinden”, antwoordt de assistent met “Publicaties voor kinderen zijn beschikbaar in de Kinderhoek”.

Gebruikers kunnen hun vragen intypen of inspreken. De chatbot registreert de audio-input (de gesproken vragen van de gebruiker) en stuurt deze naar een spraakherkenningsmodule die de spraak omzet in tekst. De audio-input wordt verwerkt door de spraak-naar-tekst-dienst van Microsoft Azure (aanhangsel 5). Publio toont de audio-input vervolgens als een reeks woorden die door de spraakherkenningsmodule zijn herkend, en komt dan met het antwoord, zowel schriftelijk als mondeling met behulp van spraaksynthese. Deze uitwisseling is onmiddellijk (er is geen vertraging) en tijdelijk (er blijft geen spoor van achter).

Hoe analyseert Publio de vraag en stelt hij resultaten voor?

Voor het genereren van de antwoorden aan gebruikers maakt Publio geen gebruik van een LLM of van andere technieken voor generatieve AI. Alle Publio-berichten zijn gebaseerd op vooraf gedefinieerde sjablonen. Publio gebruikt een op machinaal leren gebaseerd taalmodel dat is getraind (getraind taalmodel) om input van gebruikers te herkennen en erop te reageren. Dit model is verantwoordelijk voor het verwerken van het bericht of de zoekopdracht van de gebruiker, het identificeren van de intentie van het bericht en het geven van een passend antwoord. Het trainingsproces van Publio bestaat erin het model voor machinaal leren te voeden met een groot aantal gemerkte trainingsgegevens, waaronder voorbeelden van gebruikersinputs en de bijbehorende intenties en plausibele reacties.

Publio gebruikt NLP, het getrainde taalmodel en een LLM om de intentie van de gebruiker te begrijpen en uit de vraag van de gebruiker de herkende entiteiten te halen (bijvoorbeeld zoekterm, onderwerp, auteur, documentdatum, documentformaat). Publio gebruikt deze entiteiten om de zoekopdracht uit te voeren en het zoekresultaat weer te geven.

Als het resultaat van de zoekopdracht te ruim is, zet Publio het gesprek voort en stelt hij de gebruiker aanvullende vragen om het zoekresultaat te verfijnen door te filteren op andere entiteiten.

De vragen van Publio beperken zich tot het identificeren van de intentie van de gebruiker, het vastleggen van het doel ervan en het formuleren van de juiste zoekopdracht voor het corpus bestaande uit de inhoud die op het PB-portaal gepubliceerd is. De door Publio voorgestelde resultaten komen volledig uit dit corpus.

Feedback van gebruikers

Op elk moment tijdens het gesprek kan de eindgebruiker positieve, neutrale of negatieve feedback geven over zijn/haar ervaring met Publio. Daarbij kan het gaan om handmatige feedback waartoe de gebruiker op elk moment het initiatief kan nemen, of feedback als reactie op een automatische pop-up die de gebruiker na enkele seconden van inactiviteit om feedback vraagt. Bovendien worden vragen die door Publio niet correct worden “begrepen” automatisch geregistreerd en periodiek verwerkt door een menselijk team van het Publicatiebureau. Zowel de feedback van gebruikers als de analyse van vragen die Publio niet goed heeft “begrepen”, worden gebruikt om het taalmodel opnieuw te trainen en zo de dienstverlening aan de eindgebruikers voortdurend te blijven verbeteren.

Verwerking van privégegevens

De op het OP-portaal beschikbare gegevens worden verwerkt in overeenstemming met de algemene verordening gegevensbescherming (AVG) van de EU en de verordening betreffende de verwerking van persoonsgegevens door de instellingen, organen en instanties van de EU (aanhangsel 6).

Geen enkel element, noch de input van de gebruiker, noch de informatie die via de antwoorden van Publio wordt verstrekt, wordt door Publio opgeslagen, bewaard of gearchiveerd.

De verzamelde feedback wordt zodanig geanonimiseerd dat deze niet kan worden gekoppeld aan de gebruiker van wie de feedback is ontvangen.

Persoonsgegevens worden niet gebruikt voor geautomatiseerde besluitvorming, tracering of profilering. Wanneer voor de extractie van entiteiten een beroep wordt gedaan op grote taalmodellen (LLM’s), is de enige informatie die tussen Publio en het LLM worden uitgewisseld de vraag van de gebruiker en het tussentijdse resultaat van de door CLU uitgevoerde entiteitextractie. Er worden geen persoonsgegevens van gebruikers gedeeld of doorgegeven.

Alle door Publio gebruikte diensten worden gehost in Europese datacentra en bij elke vorm van gegevensverwerking wordt voldaan aan de EU-regelgeving inzake gegevensbescherming.

Huidige beperkingen

• Transcriptie van namen met behulp van spraak: de meeste namen worden “begrepen” en correct getranscribeerd, maar de naamextractie is gebaseerd op machinaal leren en is niet 100 % nauwkeurig. Als gevolg van beperkingen van CLU worden sommige namen niet correct geëxtraheerd, zelfs nadat het model met de specifieke voorbeelden uit de dataset is getraind.
• Datums in het Frans en het Spaans: in complexere contexten is het “begrip” van datums minder nauwkeurig in het Spaans en het Frans. Zo zal het jaartal in het Spaans worden herkend met “entre 2016 y 2017” zonder extra context, terwijl het niet zal worden herkend met “entre el año 2019 y 2020”.
• Spraakherkenning werkt slechts in één taal tegelijk.
• De spraakherkenning heeft geen spelmodus, wat betekent dat gebruikers woorden niet letter voor letter kunnen spellen om een nauwkeurige transcriptie te waarborgen.
• De herkenning van eigennamen werkt niet goed in langere zinnen in combinatie met “Mrs”/“Miss”.

Bureau voor publicaties van de Europese Unie, 16 mei 2023