Trustworthy AI by Design Art. 17 KI-VO: Was bedeutet Qualitätsmanagement bei KI-Systemen?

Art. 17 KI-VO sieht die Einführung und Pflege eines Qualitätsmanagementsystems, kurz QMS, für Anbieter von hochriskanten KI-Systemen vor. Das QMS gewährleistet, dass die Anforderungen der Verordnung – von Risikomanagement bis zur technischen Dokumentation – durchgängig erfüllt werden. Und zwar der DIN EN ISO 9001:2015 entsprechend. Es dient somit als strukturelles Rückgrat für die gesetzeskonforme Entwicklung, Bereitstellung und Überwachung von KI.

Konkreter gesagt, bedeutet es, dass Art. 17 KI-VO den KI-Anbietern vorschreibt, qualitätssichernde Infrastrukturen (1) zu implementieren.

Ein solches QMS umfasst typischerweise Prozesse und Verfahren unter anderem zu:

• Risikomanagement (Art. 9 KI-VO),
• Daten- und Datensatzverwaltung (Art. 10),
• technischer Dokumentation (Art. 11),
• Protokollierung und Nachvollziehbarkeit (Art. 12),
• menschlicher Aufsicht (Art. 14) und
• Produktüberwachung nach Inverkehrbringen (Art. 61).

Das QMS muss dokumentiert, regelmäßig überprüft und ggf. immer wieder angepasst werden. Das kann in schriftlicher Form erfolgen oder je nach Techniken und Verfahren auf digitalen Wegen. Zudem ist es Grundlage für die Durchführung der Konformitätsbewertung – also der Überprüfung, ob ein KI-System rechtskonform nach den Anforderungen der KI-VO in der EU eingesetzt werden darf.

Das alles hört sich nach viel Aufwand und hohen Kosten an. Für Kleinstunternehmen mit weniger als zehn Beschäftigten gelten daher weniger strenge Regeln. Ganz ausgenommen von den Pflichten sind sie aber nicht. Bisher sind diese nicht konkret festgehalten, sie müssen noch in Leitlinien von der Kommission beschrieben werden. Insgesamt sollen damit die Kleinstunternehmen weniger Verwaltungsaufwand und Kosten haben, ohne Schutzniveaus zu mindern. (2)

Somit ist es das Ziel von Artikel 17, dass Qualität, Sicherheit und Rechtskonformität nicht dem Zufall überlassen bleiben: Mit einem verpflichtenden QMS gemäß ISO9001:2015 schafft die KI-VO eine verbindliche Struktur, um Risiken zu minimieren, die von hochriskanten KI-Systemen ausgehen können.

(Quellenangaben:
1 Vgl.: BeckOK KI-Recht/Henke KI-VO Art. 17 Rn. 7-9
2 Vgl. ebd. Art. 17 Rn. 5, 6; s. auch Erwägungsgrund 146)