Risikovermeidung durch vertrauenswürdige KI

Während KI viel Gutes bewirken kann, einschließlich der Erhöhung der Sicherheit von Produkten und Prozessen, kann sie auch durch eine Vielzahl von Risiken schaden, wie im vorherigen Artikel "Herausforderungen von KI-Anwendungen in der Zollabwicklung" beschrieben. Daher sollte ein rechtlicher Rahmen sowie ein Unternehmensstandard für vertrauenswürdige KI darauf ausgerichtet sein die verschiedenen Risiken eines potenziellen Schadens zu minimieren, insbesondere die wichtigsten, wie Risiken für die Grundrechte, die Sicherheit und das effektive Funktionieren des Haftungsregimes. Die folgenden Abschnitte enthalten daher erstens einen Vorschlag für einen rechtlichen Rahmen, mit dem KI-Probleme durch die Anwendung rechtlicher Maßnahmen vermieden/gemildert werden könnten, und zweitens einen möglichen Unternehmensstandard, mit dem vertrauenswürdige KI-Lösungen realisiert werden können.

Rechtlicher Rahmen

Unter Berücksichtigung bereits vorhandener rechtlicher Maßnahmen ist ein umfangreicher Korpus bestehender EU-Rechtsvorschriften zur Produktsicherheit und -haftung, einschließlich sektorspezifischer Vorschriften, die durch nationale Rechtsvorschriften weiter ergänzt werden, relevant und kann bereits für mehrere neu entstehende KI-Anwendungen gelten. Neben diesen bereits bestehenden Vorschriften könnte der Rechtsrahmen durch die folgenden Bestimmungen weiter verbessert werden:

Einführung das von der Datenethikkommission geforderte fünfstufige risikobasierte System der Regulierung einzuführen. Auf diese Weise wissen Unternehmen, wo ein KI-Geschäft ohne Regulierung, mit wenig oder mit viel Regulierung gestartet werden kann und welches KI-Geschäft als gefährlicher Anwendungsbereich verboten ist. Bevor ein neu entstehendes KI-Geschäft jedoch nach diesen Stufen eingereiht wird, kann es erforderlich sein, es einige Zeit zu beobachten, um wirklich zu wissen, ob Regulierungen nicht notwendig sind oder ob das Geschäft komplett verboten werden sollte. Die letztere Maßnahme sollte vorsichtig entschieden werden, das dies das Tempo des technologischen Fortschritts verringern könnte,
die Entwicklung eines gemeinsamen gesetzlichen Ansatzes auf EU-Ebene, um europäischen Unternehmen einen reibungslosen Zugang zum Binnenmarkt zu ermöglichen und ihre Wettbewerbsfähigkeit auf den globalen Märkten zu unterstützen,
die wirksame Anwendung und Durchsetzung bestehender EU- und nationaler Rechtsvorschriften, indem sichergestellt wird, dass KI-Maßnahmen interpretierbar und erklärbar sind,
aufgrund der Produktveränderungen und der möglichen negativen Auswirkungen von KI-Systemen auf die Sicherheit sollten neue Risikobewertungen, menschliche Aufsicht beim Produktdesign und während des gesamten Lebenszyklus des KI-Produkts und -Systems als Schutzmaßnahme in Betracht gezogen werden,
ausdrückliche Verpflichtungen für Hersteller könnten auch in Bezug auf psychische Sicherheitsrisiken der Nutzer in Betracht gezogen werden,
gewerkschaftliche Produktsicherheitsvorschriften, um fehlerhafte Daten in der Entwurfsphase und die Aufrechterhaltung einer ausreichenden/hohen Datenqualität während der gesamten Nutzung der KI-Produkte und -Systeme anzugehen,
die Festlegung von Transparenzanforderungen, um den Black-Box-Charakter von Deep Learning basierenden Systemen anzugehen,
Personen, die durch KI-Systeme einen Schaden erlitten haben, müssen die gleichen Schutzmaßnahmen genießen wie Personen, die durch andere Technologien einen Schaden erlitten haben, wobei die technologische Innovation sich weiterentwickeln darf und eine obligatorische Haftpflichtversicherung für eine bessere Entschädigung erforderlich ist,
Festlegung von EU-Sicherheitsanforderungen, die KI-Systeme erfüllen müssen, um als vertrauenswürdige KI zertifiziert zu werden.  Z.B. Datensätze, die ausreichend groß sind und alle relevanten Szenarien abdecken, die relevante Dimensionen wie Geschlecht, Ethnizität und andere mögliche Gründe für verbotene Diskriminierung repräsentieren. Eine weitere EU-Sicherheitsanforderung könnte für Datenschutzmaßnahmen definiert werden,
Dokumentations- und Aufzeichnungspflichten für Daten,
die Definition von Anforderungen an die technische Robustheit, damit Unternehmen wissen, was ein robustes KI-System ist?!  Wie groß soll die Genauigkeit für dieses spezifische KI-Unternehmen sein? Was sind die Anforderungen an reproduzierbare Ergebnisse? Wann sind die Anforderungen erfüllt, dass ein KI-System zuverlässig mit Fehlern oder Inkonsistenzen in allen Lebenszyklusphasen umgehen kann? Welche Anforderungen an die Belastbarkeit könnten gestellt werden, um das KI-System vor Cyber-Attacken und Daten-/Algorithmus-Manipulationsversuchen zu schützen/abzusichern?
Festlegung verschiedener menschlicher Aufsichtsanforderungen und -ebenen für verschiedene KI-Unternehmen (Human-in- oder on-the-Loop, Human-in-the-Command, selbstlernende Anwendungen), Festlegung von EU-Datenschutzvorschriften zum Verbot der Verarbeitung biometrischer Daten zur eindeutigen Identifizierung einer natürlichen Person, außer unter bestimmten Bedingungen.
die wirksame Anwendung und Durchsetzung bestehender EU- und nationaler Rechtsvorschriften, indem sichergestellt wird, dass KI-Maßnahmen interpretierbar und erklärbar sind,
aufgrund der Produktveränderungen und der möglichen negativen Auswirkungen von KI-Systemen auf die Sicherheit sollten neue Risikobewertungen, menschliche Aufsicht beim Produktdesign und während des gesamten Lebenszyklus des KI-Produkts und -Systems als Schutzmaßnahme in Betracht gezogen werden,
ausdrückliche Verpflichtungen für Hersteller könnten auch in Bezug auf psychische Sicherheitsrisiken der Nutzer in Betracht gezogen werden,
gewerkschaftliche Produktsicherheitsvorschriften, um fehlerhafte Daten in der Entwurfsphase und die Aufrechterhaltung einer ausreichenden/hohen Datenqualität während der gesamten Nutzung der KI-Produkte und -Systeme anzugehen,
die Festlegung von Transparenzanforderungen, um die Undurchsichtigkeit von auf Algorithmen basierenden Systemen anzugehen,
Personen, die durch KI-Systeme einen Schaden erlitten haben, müssen das gleiche Schutzniveau genießen wie Personen, die durch andere Technologien einen Schaden erlitten haben, wobei die technologische Innovation sich weiterentwickeln darf und eine obligatorische Haftpflichtversicherung für eine bessere Entschädigung erforderlich ist,
Festlegung von EU-Sicherheitsanforderungen, die KI-Systeme erfüllen müssen, um als vertrauenswürdige KI zertifiziert zu werden.  Z.B. Datensätze, die ausreichend groß sind und alle relevanten Szenarien abdecken, die relevante Dimensionen wie Geschlecht, Ethnizität und andere mögliche Gründe für verbotene Diskriminierung repräsentieren.Eine weitere EU-Sicherheitsanforderung könnte für Datenschutzmaßnahmen definiert werden,
Dokumentations- und Aufzeichnungspflichten für Daten,
die Definition von Anforderungen an die technische Robustheit, damit Unternehmen wissen, was ein robustes KI-System ist?!  Wie groß soll die Genauigkeit für dieses spezifische KI-Unternehmen sein? Was sind die Anforderungen an reproduzierbare Ergebnisse? Wann sind die Anforderungen erfüllt, dass ein KI-System zuverlässig mit Fehlern oder Inkonsistenzen in allen Lebenszyklusphasen umgehen kann?Welche Anforderungen an die Belastbarkeit könnten gestellt werden, um das KI-System vor Cyber-Attacken und Daten-/Algorithmus-Manipulationsversuchen zu schützen/abzusichern?
Eine weitere EU-Sicherheitsanforderung könnte für Datenschutzmaßnahmen definiert werden,
Dokumentations- und Aufzeichnungspflichten für Daten,
die Definition von Anforderungen an die technische Robustheit, damit Unternehmen wissen, was ein robustes KI-System ist?!  Wie groß soll die Genauigkeit für dieses spezifische KI-Unternehmen sein? Was sind die Anforderungen an reproduzierbare Ergebnisse? Wann sind die Anforderungen erfüllt, dass ein KI-System zuverlässig mit Fehlern oder Inkonsistenzen in allen Lebenszyklusphasen umgehen kann? Welche Anforderungen an die Belastbarkeit könnten gestellt werden, um das KI-System vor Cyber-Attacken und Daten-/Algorithmus-Manipulationsversuchen zu schützen/abzusichern?
Festlegung verschiedener Anforderungen und Ebenen der menschlichen Aufsicht für verschiedene KI-Unternehmen (Mensch in oder auf der Schleife, Mensch auf Befehl oder kein Mensch in der Schleife für nicht riskante, selbstlernende Anwendungen erforderlich),
EU-Datenschutzvorschriften, die die Verarbeitung biometrischer Daten zur eindeutigen Identifizierung einer natürlichen Person verbieten, außer unter bestimmten Bedingungen.

Unternehmensstandard für vertrauenswürdige KI

Da es einen gesetzlichen Rahmen für KI-Anwendungen im Allgemeinen geben wird, ist es sehr empfehlenswert, dass Unternehmen Maßnahmen ergreifen, um bereits für diese Zeiten vorbereitet zu sein und vertrauenswürdige Lösungen zu entwickeln. Diese KI-Systeme sollen den künftigen gesetzlichen Bestimmungen entsprechen und Vertrauen bei Unternehmen schaffen, die die Lösung kaufen möchten sowie bei den Nutzern, die mit der KI-Engine interagieren. Die Bewältigung von unbekannten/neuartigen Themen die bevorstehen, ist jedoch nicht immer eine leichte Aufgabe. Daher möchte Digicust Unterstützung bei der Entwicklung vertrauenswürdiger KI-Anwendungen sowie bei der Gestaltung der künftigen Mensch-Computer-Interaktion bieten, indem es die folgenden Komponenten vorschlägt, die ein vertrauenswürdiger KI-Standard enthalten sollte:

Datenmanagement, -kontrolle und -aufsicht → dienen als durchgängiges Grundgerüst für alle anderen Dimensionen, das auf die Grundwerte des Unternehmens, ethische Leitplanken und regulatorische Vorgaben abgestimmt ist, wobei Kontrolle und Aufsicht durch Anwender, Entwickler und Data Scientists die Norm sein sollten.

Ethik und Regulierung → ein KI-System sollte so entwickelt werden, dass es den Vorschriften entspricht, aber auch ethisch vertretbar ist und auf organisatorischen Richtlinien und Verhaltensregeln für Mitarbeiter basiert.

Verantwortung und Rechenschaftspflicht → vertrauenswürdige KI-Systeme sollten Richtlinien enthalten, die definieren, wer für ihren Output verantwortlich und rechenschaftspflichtig ist.

Design, Interpretierbarkeit und Erklärbarkeit → in Bezug auf KI-generierte Entscheidungen, d.h. sie sollten für alle Parteien interpretierbar und leicht erklärbar sein. Diese Aspekte sollten in ein intelligentes UX/UI menschenzentriertes Design einfließen, also die Anforderungen und den zukünftigen Prozess kennen, um Datenschutz, Sicherheit und Transparenz in das Frontend zu integrieren.

Robustheit, Sicherheit und Schutz → nur KI-Systeme, die eine robuste Leistung bieten, sind sicher in der Anwendung, und es sollten nur solche entwickelt werden, die die negativen Auswirkungen von Cyberangriffen minimieren.

Voreingenommenheit und Fairness → das Erkennen von Entscheidungen, die möglicherweise nicht für alle Parteien fair sind, ist die Grundlage für die Entwicklung von KI-Systemen, die unerwünschte Voreingenommenheit abmildern und faire Entscheidungen unter einer bestimmten und kommunizierten Definition realisieren.

Ausbildung, Personalentwicklung → die zunehmende Automatisierung in allen Bereichen der Wirtschaft setzt sich durch, wodurch neue Jobs entstehen, die neue Fähigkeiten erfordern und Unternehmen ihre Mitarbeiter weiterentwickeln müssen. KI verändert die Art und Weise, wie Menschen arbeiten. Als Konsequenz sollte eine KI-spezifische Ausbildung in Betracht gezogen werden.

KI-Vertrauenswürdigkeitszertifizierung & Standardisierung → Erreichen von vertrauenswürdiger KI durch die Einhaltung von Standards, z.B. Design, Herstellung und Geschäftspraktiken, die obendrein von Externen zertifiziert werden, die das entwickelte KI-System attestieren. Zu diesem Zweck will Digicust sein zukünftiges Produkt mit dem Fraunhofer-Institut für Intelligente Analyse- und Informationssysteme IAIS testen, um seine KI-Anforderungen zu erfüllen und vertrauenswürdig-zertifizierte KI-Systeme zu realisieren.

Verfasst von

Borisav Parmakovic, M.A.

Als CEO von Digicust entwickelt Borisav leidenschaftlich innovative Lösungen zur Optimierung von Zollprozessen entlang der Wertschöpfungskette eines Gutes. Dabei lässt der Ideengründer seiner Kreativität freien Lauf, arbeitet gerne mit Personen zusammen, die Herausforderungen als Chance sehen und keine Scheu haben hochinnovative Technologien zur Lösung dieser Probleme einzusetzen.