Der Angriffsvektor gegen KI-Anwendungen lässt sich am besten über das Wissen und die Fähigkeiten der Angreifer beschreiben.

Wissen des Angreifers

Je nachdem, ob ein Angreifer vollen, teilweise, oder keinen Zugriff auf die Interna der KI Anwendungen hat, spricht man von Black-Box, Gray-Box und White-Box-Szenarien. Angreifer können dabei über Wissen und Zugriff auf folgende Aspekte verfügen:

1. Trainingsdaten der KI-Anwendung
2. Trainingsalgorithmus
3. Trainiertes Modell der KI-Anwendung und dessen Parameter

Ein Angreifer, der auf alle drei Aspekte vollen Zugriff hat, wird als Angreifer mit “perfektem Wissen” bezeichnet. Solche Angreifer zu betrachten erlaubt es, worst-case Abschätzungen für die Sicherheit der KI-Systeme durchzuführen.

Jedoch sind derartige Angreifer in der Praxis nicht komplett realistisch. Realistischer sind stattdessen Angreifer mit “begrenztem Wissen”.

Fähigkeiten des Angreifers

Die Fähigkeiten eines Angreifers können anhand des Einflusses, welchen er auf das trainierte Modell der KI-Anwendung und dessen Trainingsdaten hat, folgende sein:

Integrität kann in KI-Anwendungen auf drei verschiedenen Ebenen beeinträchtigt werden:

1. Datenebene: Gezielte Korruption der Daten, die das Modell vorhersagen soll.
2. Modellebene: Gezielte Manipulation des Modellverhaltens oder der Modellparameter.
3. Output/Objektebene: Gezielte Manipulation der Reaktionen des KI-Systems auf spezifische Modellvorhersagen.

Datenebene

Auf der Datenebene können Inputs des Modells gezielt beeinflusst werden, um zu falschen Vorhersagen zu führen.

Modellebene

Auf der Modellebene können Parameter des Modells während oder nach dem Training so beeinflusst werden, dass das Modell falsche Vorhersagen macht.

Objektebene

Auf der Objektebene können Modelloutputs so manipuliert werden, dass das darumliegende System, welches auf der KI basiert falsch auf den zugehörigen Input reagiert.

Im Kontext der Integrität stehen außerdem die Verlässlichkeit und Beherrschbarkeit. Im Falle der Verlässlichkeit kann ein Angreifer unzulässige Systemzustände bspw. durch unsinnige Eingaben erreichen. Dahingegen ist die Beherrschbarkeit angegriffen, wenn ein Angreifer dem das System auf der Modellebene zu einem nicht-intendierten Verhalten bringen kann.

Wenn ein Angreifer auf die Verfügbarkeit des Modells abzielt, veranlasst er das System dazu, gutartige Instanzen zu verweigern und dadurch nicht richtig zu arbeiten.

Wenn die Ausgabe des ML-Modells in die Funktion des Systems eingebunden ist, kann dies als Denial-of-Service-Angriff betrachtet werden.

Ein Angriff auf die Vertraulichkeit kann es einem Angreifer ermöglichen, an sensible und vertrauliche Informationen über das trainierte ML-Modell, seine Eigenschaften, Struktur und Parameter zu kommen. Dadurch könnte der Angreifer in der Lage sein, das im Modell repräsentierte geistige Eigentum zu stehlen, gezielter zu manipulieren, oder auch basierend auf dem gewonnenen Wissen die Privatheit der Trainingsdaten anzugreifen.

Bei einem Angriff auf die Privatheit des Modells kann ein Angreifer Informationen über die - möglicherweise sensiblen - Trainingsdaten erlangen. Dies kann schwerwiegende Auswirkungen auf die Privatsphäre der betroffenen Dateninhaber*innen haben.

Ein wichtiger Aspekt im Bereich der Privatheit ist die Anonymität in Abgrenzung zur Pseudonymität. Anonymität kann als der Schutz vor Identifizierung im Allgemeinen, und Pseudonymität als der Schutz vor namentlicher Identifizierung definiert werde. Dies impliziert, dass bspw. zum Erreichen der Anonymität zwei Bilder nicht einander zugeordnet werden dürfen. Speziell während des Trainings von KI-gestützter Identifikation im Bereich der Biometrie kann an Anonymität nicht gewährleistet werden. Hier ist es das schwächere Schutzziel der Pseudonymität zu verfolgen.

Adversarial Attacken

Bei Adversarial Attacken manipuliert ein Angreifer einen Datenpunkt, den das fertig trainierte KI-Modell voraussagen soll so, dass die Voraussage des Modells falsch sein wird. Das kann z.B. die gezielte Veränderung von Pixeln in einem Bild sein, sodass das eigentliche Objekt im Bild nicht mehr richtig erkannt wird.

Data Poisoning

Im Data Poisoning geht es darum, dass ein Angreifer schon während des Modelltrainings die Trainingsdaten gezielt manipulieren kann. Dadurch wird die Vorhersagequalität des Modells gezielt manipuliert. Z.B. kann ein Angreifer dies nutzen, um einen Spam-Filter zu umgehen. Wenn das Modell darauf trainiert wurde, gezielt gewählte Worte mit Non-Spam-Nachrichten zu assoziieren, kann ein Angreifer Spam später nicht erkannt werden lassen, indem er diese Worte benutzt.

Model Stealing, Model Extraction

Bei Model Stealing geht es darum, ein trainiertes Modell von seinen eigentlichen Besitzern zu entwenden, z.B. indem es kopiert wird.

Model Extraction ist eine spezielle Form des Model-Stealings, in dem ein Modell über Blackbox-Zugang gestohlen wird. Das heißt, dass ein Angreifer mit dem Modell nur über eine Schnittstelle interagieren kann, aber die erhaltenen Voraussagen des Modells schon gut genug ist, um ein Ersatzmodell zu trainieren, welches das Verhalten des zu Stehlenden aufweist.

Model Inversion

Bei Model Inversion geht es darum, aus einem trainierten KI-Modell Informationen über die Trainingsdaten zu erhalten. Genauer gesagt kann in der Model Inversion eine durchschnittliche Repräsentation der Trainingsdaten (einer bestimmten Klasse) wieder hergestellt werden.

Membership Inference

Membership Inference Attacken beschäftigen sich mit der Frage, ob ein bestimmter Datenpunkt für das Training des Modells benutzt wurde. Dies kann zu Problemen mit der Privatsphäre dieses Datenpunktes führen. Stellt man sich vor, man nutzt einen Klassifikator, der Krebspatientinnen Behandlungsmethoden vorschlägt, so kann man sicher sein, dass dieser Klassifikator auf den Daten von Krebspatientinnen trainiert wurde. Die Information, dass ein konkreter Datenpunkt für das Training verwendet wurde, ist also äquivalent zu der Information, dass das zugehörige Individuum Krebs hat.

Attribute Inference

Bei Attribute Inference geht es darum, anhand öffentlich bekannter Merkmale zu einem Datenpunkt und Zugriff auf ein Modell, welches mit diesem Datenpunkt (und seinen sensiblen und privaten Merkmalen) trainiert wurde, die sensiblen Merkmale zu erfahren.

Property Inference

Bei Property Inference geht es darum, Eigenschaften über das gesamte Trainingsset eines KI-Modells zu erhalten, wie zum Beispiel die Verteilung der Daten. Solche Informationen können zu Privatsphäreproblemen, insbesondere für Minderheiten in der Verteilung führen.