Responsible AI in Healthcare: Warum Patient:innen in der KI-Debatte fehlen

Auf Konferenzen zu KI im Gesundheitswesen sitzen Technologieexpertinnen, Kliniker, Regulatorinnen, Beraterinnen, Vertreter von Pharmaunternehmen und Investoren. Was ich dort fast nie sehe: Menschen die selbst erkrankt sind, die tägliche Versorgungsrealität kennen und gleichzeitig verstehen, wie die Technologie funktioniert.

Ich bin beides. Und ich bemerke die Lücke in jedem Gespräch.

Warum das ein Problem ist

KI-Systeme im Gesundheitswesen werden entwickelt, evaluiert und eingeführt von Menschen, die meistens keine Patientinnen sind. Das ist kein Vorwurf — es ist eine strukturelle Beobachtung mit konkreten Konsequenzen.

Wenn Betroffene nicht in der Entwicklung sitzen, entstehen Systeme die die richtigen technischen Fragen beantworten — aber nicht die richtigen menschlichen. Ein KI-System das Tumorbilder mit 95 Prozent Genauigkeit klassifiziert, ist technisch beeindruckend. Ob es den Alltag von Krebspatientinnen verbessert, hängt von Fragen ab die diese Genauigkeitszahl nicht beantwortet: Wie kommt das Ergebnis zu mir? Verstehe ich es? Kann ich darauf aufbauend Entscheidungen treffen?

Was Responsible AI im Gesundheitswesen konkret bedeutet

Verantwortungsvolle KI wird in den meisten Frameworks beschrieben als: fair, nachvollziehbar, sicher, datenschutzkonform, menschlich überwacht. Das sind wichtige Kriterien. Sie greifen aber zu kurz, wenn die Perspektive der Betroffenen fehlt.

Fairness zum Beispiel: KI-Systeme in der Medizin werden häufig mit Daten trainiert, die bestimmte Bevölkerungsgruppen unterrepräsentierten. Frauen, ältere Menschen, Menschen mit seltenen Erkrankungen, Menschen aus einkommensschwachen Gruppen. Ein System das für eine bestimmte Population gut funktioniert, kann für eine andere schlechter sein — manchmal gefährlich schlechter.

Nachvollziehbarkeit: Ärzte treffen Entscheidungen auf Basis von KI-Empfehlungen, ohne immer zu wissen wie diese zustande kamen. Patient:innen erst recht nicht. Das ist kein akademisches Problem. Es ist ein Vertrauensproblem.

Was ich mir für die Praxis wünsche

Keine persönlichen Daten eingeben. Keinen vollständigen Arztbrief mit Namen hochladen. Die KI ist ein Werkzeug zur Orientierung – keine Ärztin, kein Therapeut. Alle Ergebnisse bespreche ich mit meinem Behandlungsteam.

Aber: Die Vorbereitung auf Ärzt*innengespräche ist genau der Bereich, wo KI mir wirklich geholfen hat. Mehr Klarheit, weniger Stress, mehr Selbstwirksamkeit.

Patient:innen sollten nicht am Ende des Entwicklungsprozesses als Testgruppe auftauchen. Sie sollten zu Beginn als Mitgestalterinnen dabei sein. Was das konkret bedeutet:

• Betroffene in Ethikkommissionen und Advisory Boards, die KI-Einführungen begleiten

• Partizipative Forschungsdesigns die Fragen von Betroffenen zum Ausgangspunkt machen

• Transparenz über Trainingsdaten und deren Repräsentativität

• Verständliche Erklärungen von KI-Empfehlungen für Patientinnen

• Bewertung von KI-Systemen nicht nur nach klinischer Genauigkeit, sondern nach Versorgungsrelevanz 

Was ich persönlich tue

Ich sitze in Advisory Boards, spreche auf Konferenzen, berate Organisationen. Nicht weil ich die Patientinnenperspektive repräsentiere — das kann keine Einzelperson. Sondern weil ich zeige, dass diese Perspektive im Raum sein kann. Dass jemand beides sein kann: betroffen und fachlich kompetent.

Die Frage die mich dabei am meisten beschäftigt: Wie kommen wir dahin, dass das kein Ausnahmefall ist?

Ich spreche über Responsible AI in Healthcare als Keynote, Panelimpuls und in Workshops für Organisationen im Gesundheitsbereich. Mehr dazu findest du hier