Kunstmatige intelligentie (AI) raakt snel geïntegreerd in de workflows van ziekenhuizen, maar het toezicht van de toezichthouders heeft moeite om gelijke tred te houden. Het huidige raamwerk, gebouwd voor statische medische apparaten zoals pacemakers, heeft moeite om zich aan te passen aan AI-software die voortdurend evolueert door middel van updates. Dit roept een cruciale vraag op: wie zorgt voor de patiëntveiligheid als AI al in gebruik is?
De verschuiving van de FDA naar post-markttoezicht
Op 29 december heeft de Amerikaanse Food and Drug Administration (FDA) publiekelijk commentaar gegeven op een burgerpetitie waarin een verandering werd voorgesteld in de manier waarop bepaalde radiologische AI-instrumenten worden gereguleerd. Het voorstel suggereert een verschuiving van herhaalde FDA-beoordelingen vóór het op de markt brengen naar doorlopend toezicht nadat AI is ingezet. Dit betekent dat veiligheidsevaluaties zouden plaatsvinden in klinische situaties in de echte wereld, in plaats van uitsluitend te vertrouwen op voorafgaande goedkeuringen.
Deze verschuiving is niet zonder risico. Het kernprobleem is verantwoordelijkheid. Hoewel toezichthouders eisen kunnen stellen en fabrikanten de prestaties kunnen monitoren, zijn de uiteindelijke gevolgen voor patiënten, artsen en gezondheidszorgsystemen. Naarmate AI zijn rol in de patiëntenzorg uitbreidt, vervagen de grenzen van de verantwoordelijkheid.
Snelheid versus veiligheid: de uitdaging van adaptieve AI
Moderne klinische AI is ontworpen om te veranderen. Updates verfijnen de prestaties, breiden mogelijkheden uit en integreren nieuwe medische kennis. Dit aanpassingsvermogen is essentieel voor de relevantie, maar botst met het traditionele reguleringsmodel van vaste producten.
Dr. Kei Nakagawa, directeur van UC San Diego Health, benadrukt dat verminderde wrijving vóór het op de markt brengen robuust toezicht na het op de markt brengen vereist: “Als we de wrijving vóór het op de markt brengen verminderen, is toezicht na het op de markt brengen niet optioneel… We hebben te maken met een nieuwe soort klinische AI, en het raamwerk moet verder werken dan de ivoren torens.”
Chris Wood, CEO van RevealDx, waarschuwt dat de implicaties van de petitie verder reiken dan eenvoudige detectietools. Hij wijst erop dat ongecontroleerde veranderingen ‘ernstige’ gevolgen kunnen hebben, omdat het voorstel niet alleen gevolgen heeft voor CADe (computerondersteunde detectie), maar ook voor CADx (computerondersteunde diagnose).
Ongelijk toezicht op gezondheidszorgsystemen
Sommige instellingen beschikken over speciale bestuurscommissies, validatieprotocollen en een informatica-infrastructuur om de prestaties van AI te monitoren. Veel anderen doen dat echter niet. Het besluit van de FDA om publiek commentaar te vragen onderstreept de onzekerheid rond adaptieve AI-regulering.
Andrew Menard, uitvoerend directeur van het Johns Hopkins Health System, merkt de verdeeldheid onder deskundigen op: sommigen beweren dat de bestaande trajecten belastend zijn, terwijl anderen vrezen dat verschuivend toezicht nieuwe risico’s met zich mee zou kunnen brengen. De kernvraag blijft: wie is verantwoordelijk? Academische centra hebben misschien wel de middelen om de veiligheid van AI te monitoren, maar kleinere ziekenhuizen missen dezelfde capaciteit.
Brenton Hill, hoofd operaties bij de Coalition for Health AI (CHAI), benadrukt dat effectief levenscyclustoezicht verder moet reiken dan de grote academische centra. “Als we de innovatie sneller willen laten verlopen, moeten we vangnetten bouwen die werken voor kleine ziekenhuizen, en niet alleen voor de grootste systemen.”
Artsen als laatste verdedigingslinie?
Sommige deskundigen zijn van mening dat artsen de ultieme bescherming kunnen worden naarmate AI dieper in klinische workflows wordt geïntegreerd. Dr. Scott Mahanty, een praktiserend radioloog, steunt de petitie, maar dringt aan op “tanden” in de handhavingsmechanismen: “Minimale elementen voor plannen na het op de markt brengen, expliciete verwachtingen rond het omgaan met prestatieafwijkingen, aandacht voor ondervertegenwoordigde populaties en duidelijke vereisten voor hoe belangrijke bevindingen uit de praktijk terug naar gebruikers worden gecommuniceerd.”
Niet alle AI brengt echter hetzelfde risico met zich mee. Dr. Lauren Nicola, CEO van Triad Radiology, wijst erop dat sommige hulpmiddelen artsen in staat stellen de resultaten onafhankelijk te verifiëren, terwijl andere dat niet doen. Het ontbreekt radiologen ook aan tijd en middelen om zelf als toezichthouder op te treden.
De toekomst van klinische AI-regulering
De uitnodiging van de FDA om publiek commentaar te geven geeft aan dat de bestaande regelgevingsinstrumenten mogelijk onvoldoende zijn voor software die zich na de implementatie ontwikkelt. Toezicht op de levenscyclus is waarschijnlijk onvermijdelijk, waardoor de verantwoordelijkheid wordt verschoven naar fabrikanten en artsen.
De cruciale vraag is niet alleen hoe medische AI wordt gereguleerd, maar ook wie eigenaar is van de veiligheid zodra deze onderdeel wordt van de patiëntenzorg. Er zijn duidelijke regels nodig voor prestatiecontroles en het omgaan met problemen, om ervoor te zorgen dat gezondheidszorgsystemen van elke omvang de patiëntveiligheid in de loop van de tijd kunnen handhaven. Deze petitie benadrukt de dringende noodzaak van samenwerking tussen fabrikanten, gezondheidszorgsystemen, artsen en toezichthouders om de veilige integratie van AI in de dagelijkse zorg te garanderen.
