Kan en mag AI de administratiedruk in de zorg verminderen?

Minister Agema (Volksgezondheid, Welzijn en Sport) is enthousiast over het mogelijk gebruik van generatieve AI in de zorg om de hoeveelheid tijd die zorgverleners besteden aan administratie weg te nemen. In het Elizabeth-TweeSteden Ziekenhuis in Tilburg loopt momenteel een pilot om werknemers kennis te laten maken met AI, en te verkennen hoe deze technologie zorgverleners kan bijstaan. Dit door een cursus die in het ziekenhuis intern is ontwikkeld, in samenwerking met de Jheronimus Academy of Data Science.

Regeerprogramma, hoofdstuk 6a. Zorg: "Als we de administratietijd weten te halveren naar zo’n 20% van de werktijd, zijn we er voor de komende jaren al. Revolutionair zijn de mogelijkheden die generatieve kunstmatige intelligentie (AI) in de zorg heeft."

Voor het gebruik van AI gelden echter Europese regels. Deze zijn vastgelegd in de AI-act. Deze bepaalt op welke gebieden AI mag worden gebruikt, en zo ja, aan welke voorwaarden voldaan moet worden om AI in te kunnen zetten. Onder de AI-act wordt het gebruik van AI voor medische doeleinden of het verwerken van medische gegevens aangeduid als een hoog risico gebied. Dat betekent dat het gebruik van AI in de zorg aan zeer strenge voorwaarden moet voldoen.

Daarnaast moeten zorgaanbieders die AI willen gebruiken ook rekening houden met de Algemene Verordening Gegevensbescherming (AVG, in het Engels General Data Protection Regulation, GDPR), de privacywetgeving van de Europese Unie. Binnen de AVG is het verwerken van gezondheidsgegevens verboden. Hierop zijn wel een aantal uitzonderingen. Gezondheidsgegevens verwerken mag bijvoorbeeld als dat noodzakelijk is om iemand zorg of hulp te verlenen. Wel moet de verwerking plaatsvinden binnen een behandelcontract, of in de wet zijn vastgelegd.

Hallucineren

Dat het gebruik van AI in de zorg risico's met zich meebrengt, blijkt uit een recente publicatie van Associated Press (AP). De berichtgeving richt zich op Nabla, een product dat generatieve AI gebruikt om administratie in de zorg te stroomlijnen. Dit product wordt volgens de website van Nabla momenteel door meer dan 85 organisaties en 45.000 zorgwerknemers in de Verenigde Staten gebruikt.

Onderdeel van dit product is een dienst die gesprekken tussen de patiënt en de zorgverlener automatisch verwerkt tot tekst die kan worden meegenomen in de administratie. Deze transcripties worden gedaan door Whisper, een product van OpenAI. OpenAI stelt echter dat Whisper niet geschikt is voor gebruik in scenario's met een hoog risico. Waarom OpenAI oproept tot voorzichtigheid blijkt uit het grote aantal onderzoekers die in het AP aan het woord komen die waarschuwen voor hallucinaties.

Een hallucinatie is een technische term voor de fouten die AI maakt. Als een AI een gestelde vraag niet begrijpt, of op basis van de beschikbare data geen sluitend antwoord kan vinden, dan kan het proberen toch een antwoord te genereren. Klopt dit antwoord niet met de werkelijkheid, dan is er sprake van een hallucinatie. In het geval van Nabla gaat het bijvoorbeeld om verzonnen behandelingen als 'hyper-geactiveerde antibiotica'. Zorgverleners die door Nabla-gegenereerde transcripties teruglezen, kunnen dus foutieve informatie voorgelegd krijgen waardoor het risico ontstaat dat medische fouten worden gemaakt.

Daarbij is het onmogelijk om de door Nabla gegenereerde tekst te vergelijken met het gesprek waarop het gebaseerd is. Nabla is namelijk ontworpen om de gespreksopnames na verwerking te wissen. Het bedrijf zegt dit te doen uit veiligheidsoverwegingen. Hiermee wordt echter ook de mogelijkheid weggenomen om het werk van Nabla te controleren en eventuele fouten te corrigeren. Maar wil men de gesprekken bewaren om de transcripties te controleren en het model verder te trainen, dan moet voldaan worden aan de AVG.

Er zal dus voorizchtig moeten omgegaan met het gebruik van AI in de zorg.  Waar het binnen de kaders van de wet mogelijk is om deze technologie te gebruiken, lijkt de effectiviteit beperkt. Bovendien is er de vraag of de hoeveelheid administratief werk die AI uit handen van zorgverleners kan nemen opweegt tegen de hoeveelheid werk die gedaan zal moeten worden om de technologie te gebruiken binnen de kaders van de huidige Europese wet- en regelgeving.