© DIN

Dieser Beitrag ist Teil unseres Newsletters. Hier finden Sie die letzte Ausgabe. Sie wollen keine Entwicklungen verpassen? Dann melden Sie sich jetzt an

Künstliche Intelligenz übernimmt zunehmend sicherheitskritische Aufgaben – von der medizinischen Diagnostik bis zur autonomen Mobilität. Spätestens mit dem EU AI Act ist klar: Für Hochrisiko-KI sind unabhängige Prüfungen keine Option mehr, sondern Pflicht. Doch eine zentrale Frage bleibt oft unbeachtet: Wie zuverlässig sind eigentlich die Prüfwerkzeuge selbst?

Mit der DIN SPEC 92006 – „Künstliche Intelligenz – Anforderungen an KI-Prüfwerkzeuge“ – liegt nun erstmals ein einheitlicher Rahmen für KI-Prüfwerkzeuge vor. Ein Prüfwerkzeug meint eine Software oder ein Software-Modul, mit dem Tests hinsichtlich bestimmter Kriterien an einem KI-Modell durchgeführt werden. 

„Um rechtssichere, verlässliche und vertrauenswürdige KI zu entwickeln, ist eine skalierbare Prüfung von KI-Systemen unerlässlich. Prüfwerkzeuge sind die Grundlage dafür. Die DIN SPEC 92006 schafft einen klaren Rahmen, in dem Prüfwerkzeuge nachvollziehbare, reproduzierbare und künftig auch automatisierbare Ergebnisse entlang des KI-Lebenszyklus liefern“, sagt Fabian Malms, Projektleiter AI Assurance & Assessments bei Fraunhofer IAIS.

Die DIN SPEC 92006 wurde von Fraunhofer IAIS initiiert und gemeinsam mit anderen Vertretern aus Industrie, Wissenschaft und Prüforganisationen erarbeitet.

EU AI Act priorisiert Prüfungen von Hochrisikosystemen

Künstliche Intelligenz übernimmt heute bereits reale Aufgaben. Damit sie zuverlässig funktioniert und im Sinne der Menschen eingesetzt wird, sieht die europäische KI-Verordnung – der EU AI Act – unabhängige Prüfungen und Zertifizierungen vor.

Die Regulierung richtet sich nach dem Risiko eines KI-Systems: Je höher dieses Risiko, desto strenger die Pflichten und Anforderungen. Ein KI-gestützter Spamfilter birgt beispielsweise ein geringeres Risiko als eine KI, die Krebszellen in MRT-Scans erkennen soll.

Doch wie kann sichergestellt werden, dass auch die KI-Prüfwerkzeuge selbst verlässlich sind?

KI-Prüfung braucht klare Kriterien und eine ganzheitliche Betrachtungsweise

 „KI-Systeme sind komplex – aber prüfbar, wenn wir die richtigen Anforderungen, Werkzeuge und Prozesse einsetzen“, erklärt Franziska Weindauer, Geschäftsführerin des TÜV AI.Lab, im Interview mit DIN. Das TÜV AI.Lab hat den Standard miterarbeitet.

Sie betont: „Nur wenn die Prüfwerkzeuge selbst robust, verlässlich und nachvollziehbar sind, kann auch das Prüfergebnis vertrauenswürdig sein“.

Die DIN SPEC stellt sicher, dass KI-Prüfwerkzeuge folgende Kriterien erfüllen:

• Korrektheit
• Nachvollziehbarkeit
• Reproduzierbarkeit
• Verlässlichkeit

Die Inhalte der Spezifikation ermöglichen darüber hinaus, den Prüfprozess der KI ganzheitlich zu betrachten. Weindauer unterstreicht, warum das entscheidend ist: 

„Die DIN SPEC denkt holistisch; es werden also nicht nur Anforderungen an Prüfwerkzeuge, sondern auch an Testverfahren und Testumgebungen definiert.“

Das bedeutet, bei der Prüfung von KI-Systemen geht es nicht allein um das Ergebnis. Untersucht wird der komplette Entwicklungsprozess mit allen Entscheidungsprozessen und den dokumentierten Risiken.

Wie wurde das System trainiert? Welche Daten wurden verwendet? Welche Kontrollmechanismen greifen im Betrieb?

Weil sich Künstliche Intelligenz stetig weiterentwickelt, wurde die Spezifikation auch für lernende und sich verändernde Systeme konzipiert.

DIN SPEC 92006 setzt internationale Maßstäbe zur Orientierung

Im Einklang mit existierenden Regeln und Normen leistet die DIN SPEC 92006 einen wichtigen Beitrag dafür, dass KI-Prüfinfrastrukturen entwickelt und KI vertrauenswürdig eingesetzt werden kann.

Sie stärkt die digitale Wettbewerbsfähigkeit, die Verbrauchersicherheit und das Vertrauen in KI in Europa.

Die DIN SPEC 92006 ist über die DIN Media GmbH erhältlich – kostenlos und frei zugänglich.

Jetzt herunterladen