KI-Sicherheit endet nicht beim Schutz von Daten. Wenn Systeme Entscheidungen auf Basis fehlerhafter oder manipulierter Informationen treffen, entstehen neue Risiken für Kunden, Mitarbeitende und Unternehmen. Warum Sicherheitsverantwortliche jetzt umdenken müssen.
Künstliche Intelligenz (KI) trifft heute Entscheidungen mit unmittelbaren Auswirkungen auf Menschen: Sie bearbeitet Kundenanfragen, erkennt Risiken von Mitarbeiterabwanderung und leitet Patientenanliegen an medizinisches Fachpersonal weiter. Verfügt die KI dabei über den passenden Kontext, liefert sie präzise Ergebnisse für die jeweils richtige Person. Ist dieser Kontext jedoch fehlerhaft – etwa manipuliert, verzerrt oder unvollständig –, erzeugt die KI mit derselben Überzeugungskraft falsche Resultate. Und das in einer Geschwindigkeit, mit der menschliche Akteure nicht Schritt halten können. Die Folgen tragen Kunden, Mitarbeitende und letztlich auch das Unternehmen.
Risiken, wenn Kontext fehlt
Jedes Unternehmen ist heute mit dieser Realität konfrontiert. Fehlt der richtige Kontext, kann ein KI-Agent sensible Daten preisgeben. Ein Chatbot erzeugt eine Antwort, auf deren Basis ein Kunde entsprechend handelt. Weist ein System zur Auswertung von Mitarbeiterfeedback beispielsweise Ergebnisse der falschen Person zu, trifft womöglich eine Führungskraft auf Grundlage fehlerhafter Daten eine Entscheidung, die die Karriere des Mitarbeitenden erheblich beeinflusst.
Auch Verbraucher nehmen diese Risiken wahr: Studien zufolge nennt mehr als die Hälfte den Missbrauch personenbezogener Daten als größte Sorge beim Einsatz von KI durch Unternehmen. Gleichzeitig greifen lediglich 20 % der Mitarbeitenden auf unternehmensseitig freigegebene KI-Lösungen zurück. Das bedeutet: Entscheidungen basieren zunehmend auf Daten und Tools, die von Sicherheitsteams weder transparent überwacht noch effektiv gesteuert oder abgesichert werden können.
Das größte Sicherheitsrisiko liegt somit in Fehlentscheidungen – Entscheidungen, denen in der heutigen, KI-geprägten Arbeitswelt mit hoher Selbstverständlichkeit vertraut wird.
Warum Ki-Sicherheit neu gedacht werden muss
Sicherheitsteams haben sich lange darauf konzentriert, Daten zu schützen – etwa durch Verschlüsselung, Zugriffskontrollen und die Einhaltung regulatorischer Vorgaben. Diese Maßnahmen bleiben unverzichtbar. Sie entstammen jedoch einer Welt, in der Daten statisch in Systemen vorlagen und Menschen die daraus resultierenden Entscheidungen trafen.
Diese Welt ist im Umbruch. Heute agiert KI zunehmend autonom und trifft Entscheidungen auf Basis von Daten. Sicherheitsteams müssen ihren Ansatz daher neu ausrichten – insbesondere beim Schutz von Experience-Management-Programmen. Entscheidend ist, die realen Auswirkungen zu verstehen, die fehlerhafte oder verzerrte Daten auf Unternehmen sowie auf Patienten, Kunden oder Mitarbeitende haben können.
📌Lesetipp: Business Software im KI-Zeitalter
Wie KI die Rolle moderner Unternehmenssoftware verändert erläutern Dr. Karsten Sontow und Dr. Volker Liestmann in ihrem Beitrag „Business Software im KI-Zeitalter: Wie aus Assistenz operative Handlungsfähigkeit wird.“
Der Fachartikel beschreibt, wie sich Unternehmenssoftware von der Assistenz zur operativen Handlungsfähigkeit entwickelt – und warum KI-Fähigkeit, Governance und Datenqualität künftig zentrale Kriterien bei der Bewertung von Business Software werden.
➡️ Business Software im KI-Zeitalter: Wie aus Assistenz operative Handlungsfähigkeit wird
Was KI für Sicherheit im Experience Management bedeutet
Wenn KI eigenständig Aktionen auslösen kann, müssen diese auch gezielt gesteuert werden. Sicherheitsverantwortliche sollten sich daher vier zentrale Fragen stellen, um den Reifegrad der eigenen Organisation realistisch zu bewerten:
1. Welche geschäftlichen Entscheidungen werden durch die KI-gestützte Plattform vorbereitet oder ausgelöst?
Es reicht nicht aus, Integrationen ausschließlich auf technischer Ebene zu betrachten. Entscheidend ist die transparente Nachverfolgung des gesamten Prozesses – von der Dateneingabe bis zum konkreten Geschäftsergebnis, einschließlich aller dazwischenliegenden automatisierten Workflows. Sobald Feedbackdaten, Kundenanfragen oder interne Hinweise automatisch eine Handlung auslösen, muss nachvollziehbar sein, wie diese Entscheidung zustande kommt.
2. Wie stellen wir sicher, dass eingehende Daten authentisch und belastbar sind?
Offene Feedbackkanäle sind essenziell, gerade weil sie niedrigschwellig zugänglich sind. Genau daraus ergeben sich jedoch Risiken. Klassische Validierungsmechanismen erkennen weder koordinierte Manipulationen noch systematische Verzerrungen zuverlässig. Voraussetzung für deren Identifikation ist ein klares Verständnis davon, wie sich „normales“ Feedbackverhalten innerhalb der eigenen Programme darstellt.
3. Haben wir den potenziellen geschäftlichen Schaden quantifiziert?
Wenn ein KI-Modell Trends falsch interpretiert oder auf manipulierte Daten reagiert, entstehen Schäden durch vermeintlich fundierte, tatsächlich jedoch falsche Entscheidungen. Sicherheitsverantwortliche müssen dieses Risiko konsequent in geschäftlichen – nicht nur in technischen – Dimensionen bewerten.
4. Wie schnell können wir Anomalien erkennen und eingreifen?
Mit zunehmender Autonomie von KI verkürzt sich das Zeitfenster zwischen fehlerhafter Eingabe und fehlerhaftem Ergebnis erheblich. Entsprechend müssen Monitoring-Systeme in der Lage sein, Auffälligkeiten in Echtzeit zu identifizieren und gezielte Eingriffe zu ermöglichen, bevor sich negative Effekte systemweit verstärken.
Der notwendige Wandel für Sicherheitsverantwortliche im KI-Zeitalter
In einer KI-getriebenen Welt wird KI-Sicherheit zur zentralen Voraussetzung für vertrauenswürdige Echtzeitentscheidungen. Sie ermöglicht es Organisationen, Geschwindigkeit mit Verlässlichkeit zu verbinden – und entschlossen zu handeln, ohne Fehlentwicklungen zu verstärken. KI-Sicherheit endet deshalb nicht beim Schutz einzelner Datenpunkte. Sie muss auch die Qualität, Herkunft und Wirkung der Kontexte absichern, auf deren Grundlage Systeme Entscheidungen vorbereiten oder automatisiert auslösen. Letztlich entscheidet sie darüber, ob KI Vertrauen schafft – oder Vertrauen untergräbt.
Der Autor
Assaf Keren
ist seit 2024 Chief Security Officer bei Qualtrics. In dieser Funktion verantwortet er die kontinuierliche Weiterentwicklung und Stärkung der Produktsicherheit, die Einhaltung globaler regulatorischer Anforderungen sowie die enge Zusammenarbeit mit den Sicherheitsteams der Kunden von Qualtrics.
