Data Poisoning: Wie manipulierte Daten KI-Modelle vergiften können

Künstliche Intelligenz lernt aus Daten. Genau darin liegt eine neue Schwachstelle: Wenn Trainingsdaten gezielt manipuliert werden, kann ein Modell falsche oder schädliche Muster übernehmen. In der IT-Sicherheit heißt dieser Angriff „Data Poisoning“, also Datenvergiftung. Er betrifft nicht nur große Sprachmodelle, sondern grundsätzlich jedes System, das aus Beispielen lernt.

So funktioniert die Manipulation

Ein KI-Modell erkennt Muster in sehr großen Datenmengen. Bilder, Texte, Messwerte oder Programmcode werden dabei nicht einzeln bewertet wie von einem Menschen. Das System sucht statistische Zusammenhänge. Gelangen absichtlich veränderte Beispiele in den Trainingsbestand, können diese Zusammenhänge verschoben werden.

Ein Angreifer muss dafür nicht unbedingt den fertigen Algorithmus knacken. Es kann reichen, Quellen zu beeinflussen, Daten in offene Sammlungen einzuschleusen oder viele manipulierte Inhalte zu veröffentlichen. Je automatischer Daten gesammelt und verarbeitet werden, desto schwieriger wird die Kontrolle.

Welche Folgen möglich sind

Ein vergiftetes Modell kann Antworten verfälschen, bestimmte Inhalte bevorzugen oder in besonderen Situationen falsch reagieren. Bei einem Empfehlungssystem wären verzerrte Vorschläge denkbar. In der Bildanalyse könnte ein System bestimmte Merkmale falsch zuordnen. In sicherheitskritischen Bereichen können kleine Fehler große Folgen haben.

Auch Kreative beschäftigen sich mit dem Thema. Sie versuchen, eigene Werke so zu verändern, dass KI-Systeme sie nicht ohne Weiteres analysieren oder für Training verwenden können. Das ist ein anderes Ziel als ein Angriff, zeigt aber, wie empfindlich datenbasierte Modelle auf gezielte Veränderungen reagieren.

Warum saubere Daten allein nicht reichen

Unternehmen müssen Herkunft, Qualität und Veränderung ihrer Trainingsdaten dokumentieren. Stichproben, unabhängige Datensätze und Tests gegen manipulierte Beispiele können Risiken verringern. Ebenso wichtig ist, ein Modell nach dem Training nicht als unveränderliche Wahrheit zu behandeln.

Kontrollen müssen auch dann weiterlaufen, wenn ein System bereits eingesetzt wird. Neue Daten, Aktualisierungen und Rückmeldungen können weitere Verzerrungen einführen. Verantwortliche brauchen deshalb Protokolle und die Möglichkeit, ein Modell schnell zurückzusetzen.

Was Nutzer daraus lernen können

Eine überzeugend formulierte KI-Antwort ist kein Beweis für ihre Richtigkeit. Unternehmen sollten wichtige Entscheidungen nicht allein einem Modell überlassen. Data Poisoning erinnert daran, dass KI-Sicherheit nicht nur aus starken Passwörtern und verschlüsselten Leitungen besteht. Sie beginnt bereits bei der Frage, welchen Daten ein System vertrauen darf.