Thema 
Eine Frau mit Brille spricht an einem Rednerpult bei einer Veranstaltung. Im Hintergrund ist ein Bildschirm mit deutschem Text, der auf Innovation und Technologie aufmerksam macht.

Verantwortungsvolle KI in der Medizin braucht mehr als einen CE-Stempel. Sie braucht Nachvollziehbarkeit — für Ärztinnen, für Patientinnen und für die Gesellschaft.

Explainable AI im Gesundheitswesen: Reguliert, aber nicht transparent


Warum dieses Thema jetzt

Die EU hat mit dem AI-Act einen der weltweit strengsten Regulierungsrahmen für KI im Hochrisikobereich geschaffen. Medizinische KI fällt darunter. Das ist gut. Aber Regulierung ist nicht dasselbe wie Vertrauen.

Viele der heute eingesetzten KI-Systeme — in Radiologie, Pathologie, Risikoklassifikation — sind für die Menschen, die mit ihnen arbeiten oder von ihnen betroffen sind, nicht nachvollziehbar. Welche Daten wurden verwendet? Welche Bevölkerungsgruppen sind unterrepräsentiert? Wann ist ein Modell unsicher genug, dass man seiner Empfehlung nicht folgen sollte? Diese Fragen werden zu selten gestellt.


Was ich in diesem Vortrag zeige

  • Was Explainable AI bedeutet — und was sie nicht bedeutet

    Warum Bias in Trainingsdaten ein Patientinnensicherheitsproblem ist, kein technisches Detail

    Wer heute Verantwortung trägt — und wer sie tragen sollte: Hersteller, Kliniken, Regulierer, Patient:innen

    Wie 'erklärbare KI' in der klinischen Praxis aussehen könnte — konkret und ohne Buzzwords

    Was die EU-Regulierung leistet — und wo ihre Grenzen liegen

Klares Verständnis der Unterschiede zwischen Zulassung, Transparenz und echtem Vertrauen. Konkrete Fragen, die beim Einkauf und Einsatz von KI-Systemen gestellt werden sollten. Und eine Position: Regulierung ist der Anfang, nicht das Ende der Verantwortung.