Die funktionale Sicherheit steht vor einem Paradigmenwechsel, im Zuge dessen Software-gestützte Methoden, u.a. aus dem Bereich der Künstlichen Intelligenz (KI), als Innovationselement in der Sicherheitstechnik in den Vordergrund rücken. Diese mögliche Zukunft der automatisierten oder gar autonomen Sicherheit gilt es zu gestalten. Die IGR ist unter „Einschaltung von Gehirn und ingenieurmäßigem Sachverstand“ dabei – wie es Dr. Pirmin Netter bereits vor über zehn Jahren in seiner Beschreibung der Evolution der Sicherheitstechnik anregte.

Aktuelle Entwicklungen auf regulatorischer und Normenebene verdeutlichen Chancen wie auch Risiken und Herausforderungen, die die Diskussion zur „KI im Kontext Sicherheit“ in Bezug auf eine breite Anwendung prägen. Dazu gehören der ISO/IEC DTR 5469 „Artificial intelligence – Functional safety and AI systems” sowie die zweite Ausgabe der deutschen Normungsroadmap zur Künstlichen Intelligenz in enger Verbindung zum EU Artificial Intelligence Act.

Gesucht: die vertrauenswürdige KI
Vertrauenswürdigkeit (Trustworthiness) beschreibt die Fähigkeit, Erwartungen nachweislich zu erfüllen. Zu den Merkmalen der Vertrauenswürdigkeit gehören z. B. Zuverlässigkeit, Verfügbarkeit, Belastbarkeit, Sicherheit (im Sinne von Security und Safety), Datenschutz, Verantwortlichkeit, Transparenz, Integrität, Authentizität, Qualität und Benutzerfreundlichkeit.

Erwähnt in ISO/IEC 22989:2022, scheint mit der Vertrauenswürdigkeit eine zentrale Eigenschaft der KI gefunden, die jedoch gleich einer Matrjoschka-Schachtelpuppe in sich wiederum geschachtelt weitere zu erklärende Eigenschaften birgt. So kommt der Aspekt der Erklärbarkeit hinzu, im Verbund mit Eigenschaften wie Transparenz und Interpretierbarkeit – letztendlich durch den Menschen, ggf. mit Hilfe von digitalen Assistenten.

Differenziert nach angewandter Technologie und Stärke der KI ist somit über Unsicherheit oder gar Ungewissheit in Bezug auf die KI zu sprechen. Klingt dies beim ersten Lesen nach Probabilistik und somit bekanntem Terrain à la PFD?

Der rechnerische Zuverlässigkeitsnachweis im Rahmen der funktionalen Sicherheit geht davon aus, dass es sich bei mittels der Ausfallrate Lambda_DU beschriebenen Ausfallmechanismen und ihrer Auftretenswahrscheinlichkeit um aleatorische, vermeintliche zufällige Unsicherheiten handelt. Sie lassen sich also zumindest als zufällige und natürliche Schwankungen, und damit durch stochastische Verteilungsfunktionen beschreiben.

Die VDE-AR-E 2841-61-5:2021 wirft ein anderes Licht auf den Charakter der Unsicherheit, mit der es der Anwender von KI zu tun hat. Die Methodik der funktionalen Sicherheit beschreibt bislang die Vermeidung systematischer Fehler über Anforderungen an strukturierte Ansätze sowie Beherrschung zufälliger Ausfälle unter Beteiligung der Probabilistik. Derweil beschreibt „Uncertainty“ in diesem Zusammenhang eine Eigenschaft von KI-Technologien, die neu scheint und über bislang beschriebene Methodiken den Anspruch an strukturiertes Vorgehen nicht oder nur anteilig abdeckt.

Somit ist ein „Lambda_AI“ nicht gleichzusetzen mit Ausfallraten herkömmlicher Art, sondern wird mit der Einführung des „Uncertainty Confidence Indicator“ präzisiert und vom bislang Etablierten abgegrenzt. Inwiefern sich dieser Konfidenz-Indikator in Bezug auf die Performance und Ergebnisse von KI messen und für die Bewertung zur Eignung des Einsatzes im Safety-Kontext heranziehen lässt, ist Gegenstand der Forschung und Diskussion. Dabei werden unter anderem „Uncertainty Wrappers“ als Software-Komponenten zur Realisierung eines „dynamic risk management approach“ zur Laufzeit beschrieben. Sie sollen helfen, den Einsatz von autonomen Systemen im Safety-Kontext zu managen.

Im Hinblick auf Merkmale einer vertrauenswürdigen KI stellt sich jedoch die Frage: Verstanden und einverstanden? KI im Safety-Kontext muss seinen Platz in iterativer Vorgehensweise der Risikobewertung (in Anlehnung an ISO/IEC Guide 51:2014) finden. Davon sind Experten überzeugt und so ist es auch im Kapitel Safety zur 2. Ausgabe der Normungs-Roadmap KI zu lesen.

In der Einleitung heißt es folgerichtig:

„Die Möglichkeiten sind grenzenlos – und doch sollte sich eine so einflussreiche Technologie innerhalb bestimmter Grenzen bewegen, damit sie uns tatsächlich hilft. Eine zuverlässige, funktionale und vor allem sichere KI braucht gewisse Regeln: zunächst ein gemeinsames Verständnis und eine einheitliche Sprache, sodass alle vom Gleichen reden. […] Normen und Standards spielen dabei eine wichtige Rolle. Sie ermöglichen eine zuverlässige und sichere Anwendung von KI-Technologien und tragen zur Erklärbarkeit und Nachvollziehbarkeit bei. Das wiederum macht sie zu Schlüsselfaktoren für die Akzeptanz von KI-Anwendungen“.

WIR in der IGR sind dabei.