Sicherheit von HochRisiko-KI-Systemen als gemeinschaftliche Aufgabe von Anbietern und Betreibern
Handelt es sich beim KI-System um ein eigenständiges Produkt oder die Sicherheitskomponente eines Produktes im Anwendungsbereich der Europäischen Verordnungen 2017/745 über Medizinprodukte (MDR) und 2017/746 über In-vitro-Diagnostika (IVDR), welche außerdem einem Konformitätsbewertungsverfahren durch Dritte unterzogen werden müssen, erfolgt gemäß Art. 6 (1) AI die Zuordnung zu den Hochrisiko-KI-Systemen.
Sowohl Anbieter als auch Betreiber von Hochrisiko-KI-Systemen sind zum Aufbau von ausreichender KI-Kompetenz verpflichtet (Art. 4 AI Act). Diese wird in Art. 3 (56) AI Act definiert als „Fähigkeiten, die Kenntnisse und das Verständnis, die es Anbietern, Betreibern und Betroffenen unter Berücksichtigung ihrer jeweiligen Rechte und Pflichten im Rahmen dieser Verordnung ermöglichen, KI-Systeme sachkundig einzusetzen sowie sich der Chancen und Risiken von KI und möglicher Schäden, die sie verursachen kann, bewusst zu werden“. Insbesondere sollten Betreiber sicherstellen, dass „die Personen, denen die Umsetzung der Betriebsanleitungen und die menschliche Aufsicht […] übertragen wurde, über die erforderliche Kompetenz verfügen, insbesondere über ein angemessenes Niveau an KI-Kompetenz, Schulung und Befugnis, um diese Aufgaben ordnungsgemäß zu erfüllen“ (Erwägungsgrund 91).
Anbieter von Hochrisiko-KI-Systemen unterliegen grundsätzlich den Bestimmungen von Art. 16 AI Act. Einige der dort beschriebenen Anforderungen sind Herstellern von Medizinprodukten bereits aus der MDR bekannt: die Erstellung einer technischen Dokumentation, die Errichtung eines Qualitäts- und Risikomanagementsystems, die Durchführung einer Konformitätsbewertung inklusive der Erstellung einer EU-Konformitätserklärung und der CE-Kennzeichnung, die Registrierung sowie die Durchführung der Überwachung nach dem Inverkehrbringen und der Vigilanz. Allerdings sind auch hier KI-spezifische Aspekte durch den Hersteller entsprechend zu berücksichtigen. Dagegen (überwiegend) neu sind Daten- und Daten-Governance-Anforderungen (Art. 10 AI Act), Anforderungen an die Entwicklung insbesondere hinsichtlich der Genauigkeit, Robustheit und Cybersicherheit (Art. 15 AI Act) sowie die Verpflichtung zur Schaffung einer Mensch-Maschine-Schnittstelle zur menschlichen Aufsicht (Art. 14 AI Act) und zur automatischen Erzeugung von Protokollen (Art. 19 AI Act). Der AI Act verfolgt den Ansatz „Compliance by Design“, d. h. die Anbieter sollen ihre Produkte von vorneherein gesetzeskonform entwickeln, in dem die regulatorischen Anforderungen früh in der Produktentwicklung berücksichtigt werden. Ein besonderes Augenmerk legt der Gesetzgeber auf die Transparenz und Bereitstellung von Informationen für die Betreiber durch den Anbieter (Art. 13 und 50 AI Act).
Für die Erfüllung der AI-Act-Anforderungen sieht der Gesetzgeber die Anwendung von harmonisierten Normen vor (Art. 40 AI Act).
Die Pflichten der Betreiber von Hochrisiko-KI-Systemen sind im Art. 26 AI Act zusammengefasst. Betreiber von Hochrisiko-KI-Systemen müssen „geeignete technische und organisatorische Maßnahmen [treffen], um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen“ und gemäß der sonstigen Betreiberpflichten nach Unionsrecht oder nationalem Recht sowie den Aufbewahrungspflichten für automatisch erzeugte Protokolle verwenden (Art. 26 (1) AI Act). Ein besonderes Augenmerk müssen Betreiber auf die korrekte Verwendung von „ausreichend repräsentativen“ Eingabedaten gemäß der Zweckbestimmung legen (Art. 26 (4) AI Act).
Weiterhin haben Betreiber die menschliche Aufsicht durch Personen mit entsprechender KI-Kompetenz sicherzustellen, das System im Betrieb zu überwachen sowie Arbeitnehmervertreter und betroffene Arbeitnehmer über die Verwendung des Hochrisiko-KI-Systems zu unterrichten (Art. 26 (2, 5, 7) AI Act). Wie genau eine menschliche Aufsicht praktisch umgesetzt werden soll, ist bislang nicht bekannt. Eine Kombination von technischen Maßnahmen seitens des Anbieters (z. B. Alarme bei Fehlfunktionen sowie eine Not-Aus-Funktionalität) und von Prozessen beim Betreiber, welche die konkreten Aufgaben und Zuständigkeiten regeln, wäre ein vielversprechender Ansatz.
Datenschutzrechtliche Anforderungen ergeben sich gleichermaßen für Anbieter und Betreiber aus der europäischen Datenschutz-Grundverordnung (DSGVO). [1]
Transparenz von HochRisiko-KI-Systemen
Sowohl die Transparenz als auch die Erklärbarkeit von KI-Systemen dienen dazu, dem Black-Box-Phänomen von komplexen KI-Systemen entgegenzuwirken. Die Transparenz von KI-Systemen bezieht sich auf die „Bereitstellung von Daten, Funktionen, Algorithmen, Trainingsmethoden und Qualitätssicherungsprozessen zur externen Überprüfung durch einen Interessenvertreter“ (ISO/IEC TR 24028). Im Erwägungsgrund 27 des AI Acts interpretiert der Gesetzgeber die im AI Act geforderte Transparenz dahingehend, dass „KI-Systeme so entwickelt und verwendet werden, dass sie angemessen nachvollziehbar und erklärbar sind, wobei den Menschen bewusst gemacht werden muss, dass sie mit einem KI-System kommunizieren oder interagieren, und dass die Betreiber ordnungsgemäß über die Fähigkeiten und Grenzen des KI-Systems informieren und die betroffenen Personen über ihre Rechte in Kenntnis setzen müssen“. Gegenüber den zuständigen Behörden und den Benannten Stellen gewährleisten Dokumente des Anbieters zur Entwicklung und technischen Bewertung (gemeinhin auch als Testen oder Validierung bezeichnet) von KI-Systemen die Transparenz, wohingegen dies gegenüber Anwender:innen, Patient:innen und Gesundheitsdienstleister:innen durch eine technische Beschreibung und eine Transparenz-Information sowie die Gebrauchs- oder Betriebsanweisung erreicht wird. [2] Anbieter und Betreiber haben gemeinschaftlich dafür Sorge zu tragen, dass Anwender:innen und Patient:innen die entsprechenden Informationen erhalten und gemäß ihrem Ausbildungsstand nachvollziehen können.
Ziel der Erklärbarkeit von KI-Systemen ist das Verständnis dafür, wie das KI-basierte System zu einem bestimmten Ergebnis gekommen ist (ISO/IEC TR 29119-11). Dies wird durch die Implementierung technischer Lösungen erreicht, z. B. in Form von Saliency Maps zur Hervorhebung von Bereichen in CT-Bildern, die für die Krankheitsdiagnose von Erkrankungen durch das KI-System herangezogen werden. [3]
Kontinuierliches Lernen von KI-Systemen
Mittels eines erneuten Durchlaufens des Lernprozesses (kontinuierliches Lernen) können sich KI-Systeme weiterentwickeln. Alle bislang in den USA und Europa in Verkehr gebrachten medizinischen KI-Systeme befinden sich in einem „eingefrorenen Zustand“, d. h. ein nicht determiniertes kontinuierliches Lernen ist ausgeschlossen. Im AI Act ist die Möglichkeit des determinierten kontinuierlichen Lernens vorgesehen: „[…] Änderungen, die den Algorithmus und die Leistung von KI-Systemen betreffen, die nach dem Inverkehrbringen oder der Inbetriebnahme weiterhin dazulernen – d. h. sie passen automatisch an, wie die Funktionen ausgeführt werden –, sollten jedoch keine wesentliche Veränderung darstellen, sofern diese Änderungen vom Anbieter vorab festgelegt und zum Zeitpunkt der Konformitätsbewertung bewertet wurden“ (Erwägungsgrund 128). Dabei ist entscheidend, dass im Rahmen des determinierten kontinuierlichen Lernens keine Änderung der Zweckbestimmung erfolgt und bei einer antizipierenden CE-Konformitätsbewertung die vorgesehenen Änderungen des KI-Modells geplant und durch die Benannte Stelle begutachtet werden. [4] Ein determiniertes kontinuierliches Lernen eines KI-Modells mit neuen Datensätzen sollte auch die Generalisierbarkeit und Robustheit verbessern. Durch ein determiniertes kontinuierliches Lernen mit Datensätzen aus anderen Kliniken kann die Qualität dieser KI-Systeme entscheidend verbessert werden.
