Herr Bachmann, was versprechen sich Krankenhäuser, was versprechen sich medizinische Einrichtungen von der KI?
Bachmann: Das hängt natürlich mit der Frage zusammen, warum wir überhaupt IT im Krankenhaus einsetzen. Wir haben seit zwanzig Jahren einen enormen Kosten- und Innovationsdruck in den Krankenhäusern. Die entscheidende Frage ist: Wie erreiche ich mit insgesamt ungefähr gleichbleibenden Kosten für die Krankenhausversorgung mehr Effizienz in der Diagnostik und in der Therapie? Da ist die bessere Nutzung der ohnehin vorhandenen Daten eine ganz wichtige Stellschraube, in die viel Hoffnung gesetzt wird. Fortschritte bei der KI können dazu beitragen, dass diese Stellschraube besser greift.
Mehr Effizienz wird der Politik nicht genug sein, nehme ich an. Frau Badra-Azar, warum treibt die Politik, warum treibt Ihr Ministerium das Thema KI in der Versorgung voran?
Badra-Azar: Für uns ist das Allerwichtigste, dass in Krankenhäusern und Arztpraxen die Qualität der Versorgung verbessert wird. Daneben geht es uns, der Bundesregierung insgesamt, beim Thema KI um eine Stärkung des Standorts Deutschland bzw. des Standorts Europa.
Regulatorisch ist bei der KI derzeit der AI Act der Europäischen Union eines der großen Themen. Am 13. März hat ihn das Europäische Parlament mit 523 zu 46 Stimmen bei 49 Enthaltungen durchgewunken. Es geht darin um Verpflichtungen für KI-System-Hersteller, abhängig von möglichen Risiken der jeweiligen KI-Lösung. Und es geht um die Definition von Hochrisikosystemen, zu denen auch gesundheitsbezogene KI-Lösungen zählen. Risiken von KI-Lösungen sollen künftig bewertet, verringert und transparent gemacht werden. Der Verhandlungsführer des Europaparlaments, Dragos Tudorache, hat sich zitieren lassen mit „Europa hat geliefert. Kein Wenn, kein Aber – das sind die Regeln.“ Wie klar sind die Regeln tatsächlich schon?
Schütze: Die Regeln sind so klar, wie es in der Gesetzgebung üblich ist, also unklar. Sie müssen jetzt ausgelegt werden, und am Ende wird sicherlich das eine oder andere vom Europäischen Gerichtshof geklärt werden müssen. Das ist aber normal, das ist nicht spezifisch für den AI Act. Was den AI Act an sich angeht: Da stehen Anforderungen drin, die würde, denke ich, jeder und jede von uns unterschreiben. KI muss transparent sein. Ärzte und Ärztinnen, die KI nutzen, müssen wissen, wie die Empfehlungen zustande kamen, denn die haften dafür und halten am Ende ihren Kopf hin. Auch viele andere Punkte, die auftauchen, kann man nur unterschreiben. Die Herausforderung ist, dass in vielen Fällen implizit oder explizit auf europäische Normen verwiesen wird. Die existieren aber überwiegend noch nicht. Sie müssen jetzt entwickelt werden, und zwar schnell, denn sonst haben wir keine „KI made in Europe“, sondern nur „KI made in China“ oder „KI made in USA“. Der Punkt ist: Die europäischen Unternehmen müssen heute entwickeln, sie können nicht auf die Normen warten, denn sonst wird der Abstand zu groß. Da müssen wir jetzt alle zusammen sehen, wie wir damit umgehen.
Wie ist das aus Entwicklersicht, Herr Marcello: Was bedeutet der AI Act konkret für die Entwicklungsarbeit, ob bei Fraunhofer oder in innovativen Unternehmen?
Marcello: Wir sprechen über Medizin und damit über Medizinprodukte, und dort gibt es ja schon länger die europäische Medical Device Regulation. Sowohl die MDR als auch der AI Act sind risikobasiert. Auch sonst gibt es da viele Überlappungen. Da ändert sich für uns teilweise gar nicht so riesig viel. Aber die KI gewinnt mehr Bedeutung, als sie bisher hatte. Bisher haben sich in Europa viele Entwickler etwas schwergetan, KI in Medizinprodukte einfließen zu lassen, weil der Rahmen dafür fehlte. Die FDA in den USA macht es den Entwicklern da einfacher. Insofern kommt für die KI-Entwicklung durch den AI Act jetzt ein neuer Push, und der ist natürlich sehr willkommen. Wenn wir über die nötige Normierung sprechen: Ich denke, da könnte auch die Industrie noch stärker voranschreiten und im Vorgriff auf die endgültigen Normen schon Abstimmungen in die Wege leiten.
Der AI Act ist im April in Kraft getreten, es wird jetzt eine zwei- bzw. im Fall der Hochrisikosysteme dreijährige Übergangsfrist geben. Was sind die Aufgaben der Politik in diesem Interregnum?
Badra-Azar: Europäische Verordnungen müssen national umgesetzt werden, die Expertinnen und Experten dafür sitzen unter anderem in der Industrie und in der Forschung. In der Politik achten wir darauf, dass es keine Doppelregulierung gibt: Neben der schon angesprochenen MDR geht es da auch um die IVDR, die Verordnung der EU für die In-vitro-Diagnostik. Wir bemühen uns außerdem um Abstimmung über die Grenzen Europas hinaus. Es gibt zum Beispiel das International Medical Device Regulators Forum, bei dem auch die USA mit am Tisch sitzen. In vielen Bereichen fängt die Arbeit jetzt erst so richtig an.
Eine Nachfrage: Einige Unternehmen befürchten, einerseits ein Medizinprodukt zertifizieren und dann ggf. noch einen zweiten Zertifizierungsprozess mit Fokus KI nachschieben zu müssen. Das soll nicht passieren?
Badra-Azar: Nein, wir wollen ganz klar keine Doppelzertifizierung. Es soll für die Entwickler und die Hersteller nicht doppelte Arbeit werden.
Wie ist das in Krankenhäusern: Ändert sich dort durch den AI Act kurzfristig etwas, oder ist das noch weit weg von der Versorgungsebene?
Bachmann: Es ändert sich schon ein bisschen was. Das Hauptproblem ist aber, dass die MDR derzeit im Grunde nicht funktionstüchtig ist. Es gibt zu wenige Notified Bodies, es werden ständig Fristen für die Anwendung der MDR ausgesetzt. Für die Krankenhäuser bedeutet das: Es steht viel Alttechnik herum, die Gefahr läuft, aus der Zertifizierung herauszufallen. Zu dieser bestehenden Problematik kommen jetzt die Anforderungen der KI Compliance dazu. Aber beim Qualitätsmanagement von KI stehen wir allenfalls am Anfang vom Anfang. Was wir bei KI-Lösungen bräuchten, wäre eine Art Warnsystem, das selbst erkennt, wenn eine Therapie- oder die Diagnostikempfehlung auf Basis der vorhandenen Daten nicht mit ausreichender Sicherheit ausgesprochen werden kann. Davon sind wir, davon sind insbesondere die vielen kleinen KI-Start-ups, aber weit entfernt. Hinzu kommt, dass wir als Softwareanwender mit der neuen Produkthaftungsrichtlinie jetzt auch noch die volle Produkthaftung für Software bekommen. Und es gibt den Cyber-Resilience-Act, der die Hersteller verpflichtet, über den gesamten wirtschaftlichen Lebenszyklus der Software die Cybersicherheit zu gewährleisten. Vor diesem Hintergrund dann im Krankenhaus Beschaffungsprozesse zu organisieren, die zu langfristig tragfähigen Ergebnissen führen, ist eine echte Herausforderung.
Ein weiteres regulatorisches Großthema im Zusammenhang mit der KI ist der Zugang zu Daten für die KI-Entwicklung, für das Algorithmen-Training und für die Validierung. Wer sich in Deutschland umhört, dem wird berichtet, wie schwierig der Zugang zu qualitativ hochwertigen Datensätzen ist. Unternehmen tarnen kommerzielle Entwicklungsprojekte als Forschungsprojekte, um besseren Datenzugang zu erhalten, was aber auch Grenzen hat. Oft bleibt nur der Einkauf von Datensatzkonserven in den USA. Was tut die Politik, um diesen Wettbewerbsnachteil zu adressieren?
Badra-Azar: Wir haben zum einen das Gesundheitsdatennutzungsgesetz (GDNG) auf den Weg gebracht, zum anderen nimmt auf europäischer Ebene der European Health Data Space Fahrt auf, der zu einem europäischen Datenraum für Gesundheitsdaten werden soll. Ja, das ist noch Zukunftsmusik, das dauert noch ein bisschen. Aber die Idee ist, auf diesem Weg die nötigen Gesundheitsdaten bereitzustellen. Da geht es um Dinge wie Versorgungsforschung, aber es sollen ganz klar auch Daten sein, die geeignet sind, KI-Algorithmen darauf laufen zu lassen.
Schütze: Da haben wir dann aber ein Problem. Beispiel KI-Entwicklung in der Radiologie: Dafür brauche ich nicht irgendwelche Bilddaten, sondern qualitätsgesicherte Bilddaten, die von fachkundigen Oberärzten nachbefundet wurden. Solche Datensätze gibt es in den USA. In Deutschland gibt es sie nur in sehr begrenztem Umfang. Ich sehe im Moment nicht, wie der EHDS oder irgendein anderer Data Space dazu beiträgt, dass solche qualitativ hochwertigen Datensätze zur Verfügung stehen. Wir brauchen nicht nur einen Space, wir brauchen auch Qualitätsmechanismen. Die Daten müssen in vielen Fällen aufbereitet werden, um für die KI-Entwicklung nutzbar zu sein. Damit das passiert, braucht es irgendeine Art von Incentivierung für die jeweiligen Fachleute. Denn das kann sonst niemand machen.
Nun schließen sich EHDS und Qualitätsmechanismen ja technisch nicht aus. Die Frage ist eher: Wer macht das? Und da landen wir letztlich bei Ärztinnen und Ärzten, die aber schon genug andere Dinge zu tun haben. Wie könnte ein Qualitätsmechanismus aussehen, der funktioniert?
Marcello: Der EHDS soll ja nicht einfach eine riesige, unstrukturierte Sammlung von medizinischen Daten sein. Wenn wir bei den radiologischen Bildern bleiben: Die müssen da schon befundet reinkommen, das wäre die Lösung. Die entsprechenden Informationen müssen von Anfang an strukturiert vorliegen. Es müssen internationale Standards wie FHIR genutzt werden und so weiter. Wenn das gegeben ist, dann kann auf Basis solcher Datenräume auch ein Algorithmus trainiert werden. Bis dorthin ist es noch ein Stück Weg, aber der EHDS startet ja auch nicht morgen. Bis es so weit ist, werden wir hoffentlich in den Krankenhäusern IT-Systeme haben, die die Daten in entsprechender Qualität zur Verfügung stellen können.
Kann KI dabei nicht auch helfen?
Marcello: Klar. KI-Algorithmen können helfen bei der Dokumentation der Befundung, bei der Erzeugung einer strukturierten Dokumentation. Da ist viel denkbar, es würde den Ärztinnen und Ärzten enorm viel Arbeit abnehmen. Aber auch hier: Das ist alles weitgehend Zukunftsmusik. In der Software-Entwicklung benutzen wir KI zur Dokumentation heute schon. Warum tun wir das nicht auch in der klinischen Medizin?
Sind die IT-Systeme in den Krankenhäusern schon fit für diese Welt?
Bachmann: Na klar, die sind total fit! Wir haben eine blühende Landschaft, es ist alles einfach und interoperabel!
Und jetzt die Wahrheit, bitte. Wo stehen wir wirklich?
Bachmann: Ein mittleres Krankenhaus mit um die tausend Belegbetten hat mehrere hundert IT-Systeme am Start. Da ist schon allein das Thema Datentransparenz fast unlösbar. Und natürlich gab und gibt es Probleme mit Unternehmen, die in einzelnen Bereichen dominierende Marktpositionen haben und die deswegen überhaupt kein Interesse daran haben, Daten wem auch immer zur Verfügung zu stellen. Dagegen hat sich auch nie ein Krankenhaus gewehrt. Es ändert sich aber was. Dass Krankenhäuser Daten nicht mehr in eigenen Rechenzentren halten müssen, wird helfen. Der Wille, Datenräume zu ermöglichen, ist da. Die Kernidee hinter dem EHDS, wonach Gesundheitsdaten – natürlich unter Beachtung von Datenschutz und Datensicherheit – open access sein sollten, den halte ich für absolut richtig.
Frau Badra-Azar, die Probleme sind angesprochen. Was wird denn nun durch das Gesundheitsdatennutzungsgesetz (GDNG) konkret besser? Oder brauchen wir noch ein GDNG 2?
Badra-Azar: Das GDNG ist aus unserer Sicht das Umsetzungsgesetz des EHDS für die sekundäre Nutzung von Daten – und das beinhaltet auch die KI-Entwicklung. Wir wollen Daten verfügbar und verknüpfbar machen, und diese Daten werden zweckgebunden zur Verfügung gestellt, nicht gekoppelt an bestimmte Einrichtungen. Und ja, Sie haben recht, wenn der EHDS konkreter wird, wird es wahrscheinlich weitere Gesetze geben müssen.
Herr Schütze, wie optimistisch sind Sie, dass deutsche KI-Unternehmen im Medizinumfeld künftig nicht mehr in großem Stil Datensätze einkaufen oder Entwicklungsprojekte als Forschungsprojekte tarnen müssen?
Schütze: Ich glaube schon, dass das in Zukunft irgendwann funktionieren kann. Die Frage ist aber, was wir in der Zwischenzeit machen. Stand heute muss an irgendeiner Stelle Geld in die Hand genommen werden, um existierende Daten so aufzubereiten, dass sie verwendbar sind. In Deutschland kommt einem da unter anderem der Föderalismus in die Quere: Der Bund kann den Ländern nicht vorschreiben, was mit den Daten in den Krankenhäusern passiert. Die Landeskrankenhausgesetze beispielsweise sind vorrangig vor dem GDNG. Es braucht hier den gemeinsamen Willen von Bund und Ländern. Den sehe ich im Moment nicht. Wir müssen langsam mal in die Pötte kommen und dafür Sorge tragen, dass wir hier in Deutschland harmonisierte Regeln kriegen. Dass das immer noch fehlt, obwohl wir da seit zwanzig, dreißig Jahren drüber reden, das ist das, was uns bremst. Und wir schaden damit den Patientinnen und Patienten.
Herr Marcello, als Entwickler haben Sie Erfahrung mit dem Zugang zu Datensätzen. Können Sie uns daran teilhaben lassen?
Marcello: Das sind eher Erfahrungen mit dem Nichtzugang. Projekte verzögern sich teilweise massiv, weil wir nicht an die Daten rankommen. Wir arbeiten zusammen mit der Uniklinik Dresden und der Uniklinik Frankfurt, versuchen Sie da mal, einen gemeinsamen Datensatz zu bekommen. Alle Beteiligten wollen die jeweiligen Daten teilen, und trotzdem müssen wir teilweise Juristen beschäftigen, um das zu ermöglichen.
Wie groß ist denn in Krankenhäusern generell die Bereitschaft, mit privaten Unternehmen im Hinblick auf eine KI-Entwicklung zu kooperieren?
Bachmann: Unterschiedlich. Bei Universitätskliniken ist das gang und gäbe, aber das ist natürlich kein offener Zugang, sondern selektiv. Aus Sicht der Kliniken ist die Schwierigkeit eine der Finanzierung. Das Gesundheitswesen ist neben Polizei und Schule die letzte Bastion der Bundesländer. Der Bund hat in den letzten Jahren versucht, durch Fördermittel mehr Einfluss zu nehmen, denken Sie an das Krankenhauszukunftsgesetz. Die Erfolge dieses Ansatzes sind aber begrenzt, solange es nur um punktuelle Förderung geht. Mit der geplanten Veränderung der Krankenhausfinanzierung wird der Bund über die Vorhaltepauschalen insgesamt stärker ins Boot geholt, es wird letztlich eine Dreiteilung der Krankenhausfinanzierung geben. Ich würde schon davon ausgehen, dass das für mehr Harmonisierung sorgen wird.
Badra-Azar: Ich will an dieser Stelle ein etwas positiveres Bild zeichnen. Das Netzwerk Universitätsmedizin (NUM) hat gezeigt, dass es in Deutschland auch heute schon möglich ist, bundeslandübergreifend Daten zügig zusammenzuführen. Auch die Medizininformatik-Initiative (MII) und die Nationale Forschungsdateninfrastruktur NFDI4Health zeigen es. Das darf jetzt nur nicht auf die Pandemie beschränkt bleiben. Mit dem GDNG führen wir zudem Regelungen ein, die das Konzept der federführenden Datenschutzaufsicht noch mal stärken sollen, wovon Forschungsprojekte profitieren werden, die bundeslandübergreifend sind. Es passiert da schon einiges.
Zum Abschluss noch kurz eine weitere regulatorische Baustelle: Im Dezember 2023 hat der Europäische Gerichtshof im SCHUFA-Urteil dem automatischen Datensammeln und der automatisierten Datenauswertung Grenzen gesetzt. Unter anderem der Landesdatenschutzbeauftragte von Schleswig-Holstein hat daraufhin betont, dass dieses Urteil auch für KI-Anwendungen im Gesundheitswesen Bedeutung bekommen könnte. Wie sehen Sie das?
Bachmann: Ohne der SCHUFA zu nahe treten zu wollen: Die haben versucht, aus einer wachsweichen Formulierung in der DSGVO ein Geschäftsmodell zu machen. Der parallele Fall im Gesundheitswesen wäre der Radiologe, der aber auch nicht sagen kann: „Meine IT sagt mir, das ist kein Knochenbruch, deswegen brauche ich das Bild gar nicht mehr ansehen.“ So funktioniert das nicht. Das SCHUFA-Urteil hat auch noch weitere Dimensionen, die unter anderem die Pflicht zur Datenlöschung betreffen. Kurz gesagt: Ich glaube nicht, dass sich dieses Urteil einfach auf KI-Anwendungen im Gesundheitswesen übertragen lässt.
Marcello: Würde ich auch so sehen. Radiologinnen und Radiologen wollen eine gute Diagnose abliefern und sind auch haftbar. Die wollen sich von Software helfen lassen, aber sie wollen sich nicht zurücklehnen und alles an einen Automaten delegieren. Insofern ist die Ausgangssituation, sind die Strukturen hier völlig anders.
Badra-Azar: Ich kann hinzufügen, dass Anfang 2024 im Bundesdatenschutzgesetz speziell der Artikel zum Scoring aktualisiert wurde, basierend auf diesem Urteil. Es ist ganz klar, dass personenbezogene Daten im Gesundheitsbereich weiterhin ausgewertet werden dürfen, solange keine automatisierte Diagnose ohne ärztlich-medizinische Kontrolle stattfindet. Aus unserer Sicht hat dieses Urteil für das Gesundheitswesen nach dieser Gesetzesaktualisierung keine Auswirkungen.
Sind dadurch alle Sorgen der Industrie zerstreut, Herr Schütze?
Schütze: Ich bin da nicht so sicher. Ein gewisses Maß an automatisierten Auswirkungen haben wir in der Medizin. Ein Algorithmus, der Befunde markiert in einem Datensatz aus Tausenden von Schnittbildern, wird dazu führen, dass sich ein Arzt oder eine Ärztin nicht mehr jedes Bild selbst ansieht. Hier trifft eine KI zumindest Teilentscheidungen. Für mich heißt das: Wir werden uns Gedanken darüber machen müssen, wie ein Arzt oder eine Ärztin KI-Lösungen im Alltag konkret einsetzt. Es muss da Workflows geben, mit denen sich rechtssicher darlegen lässt, dass es eben nicht die Maschinen sind, die letztlich die Entscheidung treffen. Das wird uns noch beschäftigen.
Was sind im Hinblick auf die Weiterentwicklung der medizinischen KI-Welt in Deutschland und Europa Ihre Wünsche für die nächsten Jahre?
Schütze: Nehmt den Hype weg, und betrachtet KI als das, was es ist: ein Werkzeug, das mit Wahrscheinlichkeiten arbeitet. Wir müssen lernen, mit Wahrscheinlichkeiten umzugehen und das transparent gegenüber Patienten, Patientinnen und KI-Anwendern wie beispielsweise medizinischem Personal darzustellen.
Marcello: Von den für die Regulierung zuständigen Instanzen würde ich mir wünschen, dass den Entwicklerinnen und Entwicklern mehr Hilfestellungen gegeben werden, zum Beispiel in Form von Entwicklertools, die schon bei der KI-Entwicklung auf Transparenz hinwirken und auch Zertifizierungsanforderungen mitdenken. So etwas gibt es bisher nicht, aber es wäre ein interessanter Bereich, mit dem Europa auch international zu einem Vorreiter werden könnte. Dafür wird es einen Markt geben.
Bachmann: Bessere Qualitätssicherung, mehr Transparenz, mehr Interoperabilität. Wir sind am Anfang eines Anfangs. Wir sehen, dass der regulatorische Rahmen für Software nicht funktioniert. Unternehmen müssen in kürzeren Entwicklungszyklen arbeiten können, ohne eine komplette Rezertifizierung machen zu müssen. Das ist ein Grund, warum es bisher vielfach noch langsam geht bei der KI. Da müssen vor allem Industrie und Forschung darauf hinwirken, das können nicht die Krankenhäuser machen.
Badra-Azar: Hersteller und Forschung müssen nicht nur die Möglichkeit bekommen, Daten zu teilen, sondern sie müssen auch Daten teilen wollen. Ich würde mir wünschen, dass Deutschland und Europa bei der KI als Innovationsstandort mit China und den USA mithalten können. „KI made in Germany“, oder „KI made in Europe“, das muss das Ziel sein.
Das Gespräch moderierte Philipp Grätzel von Grätz, Chefredakteur E-HEALTH-COM.