Medizinprodukte mit künstlicher Intelligenz: Sicher durch Audits und Zulassungen

Weder die EU-Richtlinien und -Verordnungen (z.B. MDD, MDR) noch die harmonierten Normen (z.B. EN IEC 62304) stellen konkrete Anforderungen an Medizinprodukte, die Verfahren der künstlichen Intelligenz, insbesondere des Machine Learnings verwenden. Daher gibt es Unsicherheit bei Herstellern und benannten Stellen. Entsprechend verlaufen Audits und Zulassungsverfahren regelmäßig „unplanbar“. Das Johner Institut hilft dabei, beide sicher zu bestehen.

1. Beratung und Unterstützung durch das Johner Institut

Das Johner Institut unterstützt Sie als Hersteller, dessen Produkte auf Verfahren des Machine Learnings basieren während des kompletten Produktlebenszyklus.

a) Während der Entwicklung und bei der „Zulassung

Wir helfen Ihnen bei den folgenden regulatorischen Aufgabenstellungen:

• SOPs (spezifisch für KI-Anwendungen) erweitern, Checklisten erstellen
• Anforderungen an die Kompetenz des Teams formulieren (Anforderungen der ISO 13485:2016)
• Validierungsbedarf der Systeme (CSV) zum Sammeln und Verarbeiten der Test- und Trainingsdaten klären. Diese Systeme validieren
• Anforderungen an die Leistungsfähigkeit, Sicherheit und Robustheit von Medizinprodukten bzw. deren Machine-Learning-Verfahren formulieren
• Anforderungen an die Interpretierbarkeit („Interpretability“, „Explaniability“) festlegen und Methoden erklärbarer KI (XAI – explainable artificial intelligence) auswählen
• Verfahren zum Verifizieren und Validieren dieser Anforderungen bestimmen
• Risiken spezifisch durch KI-Verfahren identifizieren, diese bewerten und Maßnahmen zur Risikobeherrschung erarbeiten
• Die regulatorische Strategie festlegen und regulatorische Fragestelllungen beantworten z.B. ob / wann ein Continuous Learning System einer erneuten Zulassung bedarf, welche Prüfungen beim „transfer learning“ notwendig sind und wie man mit Updates der SOUPs umgeht
• Technologien und Frameworks bewerten und auswählen

Auch bei Fragen zur Statistik und zum Machine Learning hilft das Johner Institut gerne:

• Bewerten, ob die Daten quantitativ ausreichend, vollständig und repräsentativ sind
• Bewerten, ob die Strategie zur Datensammlung adäquat ist
• Festlegen der „Ground Truth“
• Fragen zum Training und zur Bewertung von Modellen beantworten z.B. zur Anzahl und dem Verhältnis der Splits, zur Bewertung des Modells auf Basis aller Daten und zur Cross-Validation
• Modelle (und Kombinationen derer) für die gegebene Fragestellung auswählen
• Modell ins Produkt transferieren mit ggf. anderer Programmiersprache, Hardware, Frameworks
• Methoden zur Erklärung der Blackbox auswählen (à „Transparency“)
• Probleme lösen z.B. wenn die Modelle die Daten nicht beschreiben („underfitting“, mangelnde Konvergenz)

b) Nach der Zulassung und Inverkehrbringung („Post-Market-Phase“)

Die Verantwortung der Hersteller endet nicht mit der „Zulassung“ der Produkte. Sie müssen beispielsweise die folgenden Aufgaben erfüllen:

• Verfahrensanweisung zur Post-Market-Surveillance spezifisch für KI-Produkte formulieren. Daten spezifizieren, die gesammelt und bewertet werden müssen beispielsweise um nachweisen, dass die tatsächliche Population der antizipierten entspricht
• Überprüfen, ob die Performance „degradiert“ z.B. durch neue Input-Daten (geänderte Population, geänderte Verfahren z.B. bei der Bildgebung). Gründe für Performance-Verschlechterungen identifizieren und beseitigen
• Zwischenfälle beurteilen z.B. ob diese im Rahmen der vorhergesagten Wahrscheinlichkeit liegen. Gründe herausfinden z.B. durch Post-Mortem-Analyse des Modells
• Daten proaktiv und kontinuierlich sammeln und bewerten
• Regulatorische Änderungen mit Bezug zur künstlichen Intelligenz überwachen, bewerten und Handlungsempfehlungen ableiten

Auch bei diesen Aufgabenstellungen ist das Johner Institut Ihr kompetenter Partner.

2. Für Investoren

Speziell für Investoren beantworten wir im Rahmen einer „Due Dilligance“ Fragestellungen wie:

• Wie wahrscheinlich wird das Produkt die versprochenen Ziele insbesondere den klinischen Nutzen erreichen?

• Wie sicher ist das Produkt für Patienten, Anwender und Dritte? Welche Risiken bestehen und wie gut sind diese beherrscht?
• Wie solide hat der Hersteller die Software bzw. die Modelle entwickelt, trainiert und überprüft?
• Wie gesetzeskonform sind das Produkt und dessen Entwicklung? Wie wahrscheinlich werden das Produkt und der Hersteller die Zulassung und Audits bestehen?

3. Schulungen und Weiterbildung 

Die Experten des Johner Instituts unterstützen Hersteller, benannte Stellen und Behörden durch zielgerichtete Schulungen zur künstlichen Intelligenz z.B. in Form von

• InhouseSeminaren,

• Webinaren,
• Videotrainings im Auditgarant (ab Q2 2019)
• EinzelCoachings und
• Projektbegleitungen.

Die Themen und Schwerpunkte sind:

• Verfahren der künstlichen Intelligenz
• Statistik und Bewertung von Daten
• „Explainable AI“
• Regulatorische Anforderungen

Nehmen Sie gleich unverbindlich Kontakt mit uns auf. Wir helfen gerne dabei, dass Ihre Medizinprodukte Dank künstlicher Intelligenz zu einer besseren Diagnose und Therapie von Patienten beitragen und sicher durch die Zulassungsverfahren kommen!