Künstliche Intelligenz (KI) wird zunehmend in die Arbeitsabläufe von Krankenhäusern integriert, doch die Regulierungsbehörden haben Schwierigkeiten, Schritt zu halten. Das aktuelle Framework, das für statische medizinische Geräte wie Herzschrittmacher entwickelt wurde, hat Schwierigkeiten, sich an KI-Software anzupassen, die sich durch Updates kontinuierlich weiterentwickelt. Dies wirft eine kritische Frage auf: Wer sorgt für die Patientensicherheit, wenn KI bereits im Einsatz ist?
Der Wandel der FDA hin zur Post-Market-Aufsicht
Am 29. Dezember eröffnete die US-amerikanische Food and Drug Administration (FDA) eine öffentliche Stellungnahme zu einer Bürgerpetition, in der eine Änderung der Regulierung bestimmter radiologischer KI-Tools vorgeschlagen wurde. Der Vorschlag schlägt vor, von wiederholten FDA-Überprüfungen vor dem Inverkehrbringen zu einer laufenden Aufsicht nach der KI-Einführung überzugehen. Dies bedeutet, dass Sicherheitsbewertungen in realen klinischen Umgebungen erfolgen würden, anstatt sich ausschließlich auf Vorabgenehmigungen zu verlassen.
Dieser Wandel ist nicht ohne Risiko. Das Kernproblem ist die Rechenschaftspflicht. Während Regulierungsbehörden Anforderungen festlegen und Hersteller die Leistung überwachen können, liegen die letztendlichen Konsequenzen bei Patienten, Ärzten und Gesundheitssystemen. Während die KI ihre Rolle in der Patientenversorgung ausweitet, verschwimmen die Grenzen der Verantwortung.
Geschwindigkeit versus Sicherheit: Die Herausforderung adaptiver KI
Moderne klinische KI ist darauf ausgelegt, Veränderungen herbeizuführen. Updates verbessern die Leistung, erweitern die Möglichkeiten und integrieren neues medizinisches Wissen. Diese Anpassungsfähigkeit ist für die Relevanz von wesentlicher Bedeutung, steht jedoch im Widerspruch zum traditionellen Regulierungsmodell fester Produkte.
Dr. Kei Nakagawa, Direktor an der UC San Diego Health, betont, dass eine geringere Reibung vor dem Inverkehrbringen eine robuste Überwachung nach dem Inverkehrbringen erfordert: „Wenn wir die Reibung vor dem Inverkehrbringen verringern, ist die Überwachung nach dem Inverkehrbringen nicht optional … Wir haben es mit einer neuen Art klinischer KI zu tun, und der Rahmen muss über die Elfenbeintürme hinaus funktionieren.“
Chris Wood, CEO von RevealDx, warnt davor, dass die Auswirkungen der Petition über einfache Erkennungstools hinausgehen. Er weist darauf hin, dass unkontrollierte Änderungen „schwerwiegende“ Folgen haben könnten, da der Vorschlag nicht nur CADe (computergestützte Erkennung), sondern auch CADx (computergestützte Diagnose) betrifft.
Ungleiche Aufsicht über alle Gesundheitssysteme hinweg
Einige Institutionen verfügen über spezielle Governance-Ausschüsse, Validierungsprotokolle und eine Informatikinfrastruktur zur Überwachung der KI-Leistung. Viele andere tun dies jedoch nicht. Die Entscheidung der FDA, eine öffentliche Stellungnahme einzuholen, unterstreicht die Unsicherheit im Zusammenhang mit der Regulierung adaptiver KI.
Andrew Menard, geschäftsführender Direktor des Johns Hopkins Health System, weist auf die Kluft zwischen den Experten hin: Einige argumentieren, dass bestehende Wege belastend seien, während andere befürchten, dass eine Verlagerung der Aufsicht neue Risiken mit sich bringen könnte. Die Kernfrage bleibt: Wer ist verantwortlich? Akademische Zentren verfügen möglicherweise über die Ressourcen, um die KI-Sicherheit zu überwachen, aber kleineren Krankenhäusern fehlt die gleiche Kapazität.
Brenton Hill, Operationsleiter der Coalition for Health AI (CHAI), betont, dass eine wirksame Lebenszyklusüberwachung über die großen akademischen Zentren hinausgehen muss. „Wenn wir Innovationen schneller vorantreiben wollen, müssen wir Sicherheitsnetze aufbauen, die für kleine Krankenhäuser funktionieren, nicht nur für die größten Systeme.“
Ärzte als letzte Verteidigungslinie?
Einige Experten glauben, dass Ärzte zum ultimativen Schutz werden könnten, da KI immer tiefer in klinische Arbeitsabläufe integriert wird. Dr. Scott Mahanty, ein praktizierender Radiologe, unterstützt die Petition, besteht jedoch darauf, dass die Durchsetzungsmechanismen Bestand haben: „Mindestelemente für Post-Market-Pläne, explizite Erwartungen zum Umgang mit Leistungsabweichungen, Aufmerksamkeit für unterrepräsentierte Bevölkerungsgruppen und klare Anforderungen dafür, wie wichtige Erkenntnisse aus der Praxis den Benutzern mitgeteilt werden.“
Allerdings birgt nicht jede KI das gleiche Risiko. Dr. Lauren Nicola, CEO von Triad Radiology, weist darauf hin, dass einige Tools es Ärzten ermöglichen, Ergebnisse unabhängig zu überprüfen, während andere dies nicht tun. Den Radiologen fehlen auch die Zeit oder die Ressourcen, um selbst als Aufsichtsbehörden zu fungieren.
Die Zukunft der klinischen KI-Regulierung
Die Aufforderung der FDA zur öffentlichen Stellungnahme signalisiert, dass die vorhandenen Regulierungsinstrumente für Software, die nach der Bereitstellung weiterentwickelt wird, möglicherweise nicht ausreichen. Eine Überwachung des Lebenszyklus ist wahrscheinlich unvermeidlich und verlagert die Verantwortung auf Hersteller und Kliniker.
Die entscheidende Frage ist nicht nur, wie die medizinische KI reguliert wird, sondern auch, wer für die Sicherheit sorgt, sobald sie Teil der Patientenversorgung wird. Für Leistungskontrollen und den Umgang mit Problemen sind klare Regeln erforderlich, um sicherzustellen, dass Gesundheitssysteme jeder Größe die Patientensicherheit langfristig gewährleisten können. Diese Petition unterstreicht die dringende Notwendigkeit einer Zusammenarbeit zwischen Herstellern, Gesundheitssystemen, Klinikern und Regulierungsbehörden, um die sichere Integration von KI in die tägliche Pflege zu gewährleisten.
