Anfang November berichten deutsche Supermärkte von manipulierten Kühlanlagen. In Nordrhein-Westfalen, Niedersachsen und Bayern müssen Betreiber Lebensmittel entsorgen, nachdem Fremde offenbar Temperatureinstellungen verändert haben. Betroffen sind unter anderem Märkte in Wuppertal, Raesfeld und Lilienthal. Die Ermittlungen laufen. Wer hinter den Angriffen steckt und wie der Zugang in jedem einzelnen Fall gelang, ist noch nicht abschließend geklärt. Die wirtschaftliche Folge ist bereits sichtbar: Ein Eingriff in eine digitale Steuerung macht Ware unbrauchbar.
Eine Beteiligung von künstlicher Intelligenz ist durch die hier ausgewerteten Quellen nicht belegt. Trotzdem berühren die Vorfälle eine zentrale Frage der KI-Transformation. Wir statten Software mit der Möglichkeit aus, in Unternehmen zu handeln. Sie soll Informationen auswerten und daraus Aktionen ableiten, Bestellungen vorbereiten, Anwendungen bedienen oder Abläufe verändern. Mit jedem solchen Schritt müssen wir entscheiden, welche Eingriffe wir zulassen und wie wir deren Folgen begrenzen.
Darüber sollte eine Geschäftsführung mindestens so gründlich sprechen wie über die erwartete Zeitersparnis. Ein System kann im vorgesehenen Betrieb hervorragende Ergebnisse liefern und unter veränderten Bedingungen erheblichen Schaden anrichten. Für die Investitionsentscheidung gehört beides zusammen. Wer KI in betriebliche Abläufe einführt, vergibt Vollmachten. Deren Umfang lässt sich nicht allein aus der Leistungsfähigkeit eines Modells ableiten.
Der Marktbetreiber kann nicht alles prüfen
Fernwartung hat gute Gründe. Ein Techniker kann Störungen untersuchen, ohne zu jeder Filiale fahren zu müssen. Betreiber können Temperaturen überwachen und auf Abweichungen reagieren. Diese Möglichkeiten haben einen wirtschaftlichen Nutzen. Wer angesichts eines Angriffs pauschal fordert, solche Anlagen vom Netz zu nehmen, muss auch erklären, wie Überwachung und Wartung anschließend funktionieren sollen.
Die französische Sicherheitsbehörde CERT-FR beschreibt in ihrer Warnung vom Oktober zahlreiche kompromittierte Kühlanlagensteuerungen verschiedener Hersteller. Sie empfiehlt, Verwaltungsoberflächen aus dem öffentlichen Internet zu entfernen und den Fernzugriff über geschützte Verbindungen wiederherzustellen. Bemerkenswert ist ein Hinweis im Detail: Bevor Betreiber die Datenübertragung zum Kältedienstleister unterbrechen, sollen sie ihre Versicherungsbedingungen prüfen. Selbst eine Schutzmaßnahme kann also andere betriebliche Vereinbarungen berühren.
An dieser Stelle wird die Forderung nach Eigenverantwortung anspruchsvoll. Ein Marktbetreiber muss Lebensmittel sicher lagern, Personal führen und seinen Betrieb finanzieren. Er kann Fachleistungen einkaufen. Es wäre eine fragwürdige Form von Arbeitsteilung, wenn er anschließend selbst überprüfen müsste, ob der Hersteller in der Steuerungssoftware einen unsicheren Wartungszugang eingebaut hat.
Dass dies keine beliebige Sorge ist, zeigt die Untersuchung des Sicherheitsforschungsteams Team82 von Claroty. Die Forscher fanden bei einer Danfoss-Steuerungsplattform unter anderem einen verborgenen Authentifizierungsmechanismus, über den sich die normale Anmeldung umgehen ließ. Danfoss stellte nach der Meldung eine korrigierte Softwareversion bereit. Dieser Forschungsbefund belegt nicht den konkreten Angriffsweg in den deutschen Märkten. Er zeigt aber, dass relevante Schwachstellen tief im Produkt liegen können, außerhalb dessen, was ein gewöhnlicher Käufer beurteilen kann.
Für KI-Anwendungen sollten wir daraus einen Anspruch an die Zusammenarbeit ableiten: Der Kunde muss verstehen können, welche Entscheidungen bei ihm liegen und welche Sicherheit der Anbieter liefern soll. Ein allgemeiner Hinweis, dass der Nutzer verantwortlich bleibe, beantwortet diese Frage kaum. Dazu braucht es verständliche Aussagen über Zugriffe, Grenzen und den Umgang mit Fehlern. Sonst kauft das Unternehmen eine Leistung, deren Risiken es weder überblicken noch sinnvoll verteilen kann.
Jede Woche veröffentlichen wir neue Essays und Podcast-Folgen, auf die du kostenlos zugreifen kannst. Mein einem bezahlten Abo kannst du auch an unseren Podcast Live-Talks teilnehmen, im Live-Chat mitdiskutieren und dich im Substack Community Chat austauschen.
Wenn gelesener Text zum Auftrag wird
Bei KI-Agenten kommt eine Besonderheit hinzu. Ein sprachbasiertes System verarbeitet Inhalte, die zugleich Informationen und Handlungsanweisungen enthalten können. Ein Mensch erkennt eine Aufforderung in einer fremden E-Mail normalerweise als Aussage ihres Absenders. Ein unzureichend geschütztes KI-System kann solche Inhalte zum Anlass nehmen, seinen ursprünglichen Auftrag zu verändern.
Unter dem Begriff Prompt Injection untersuchen Sicherheitsforscher genau diese Manipulation. Angreifer platzieren Anweisungen etwa in Dokumenten oder Webseiten, die ein Assistent für eine legitime Aufgabe liest. Anthropic beschreibt dies als eine wesentliche Sicherheitsherausforderung für Browser-Agenten: Diese begegnen fremden Inhalten und können zugleich Aktionen im Browser ausführen. Verbesserte Abwehrmaßnahmen verringern das Risiko; der Anbieter bezeichnet das Problem ausdrücklich als ungelöst.
Damit verändert sich die Bedeutung einer scheinbar einfachen Frage: Darf dieser Assistent meine E-Mails lesen? Für einen sinnvollen Einsatz müssen wir zusätzlich wissen, welche anderen Informationen er erreichen kann und wohin er Ergebnisse übertragen darf. Ein Leserecht schützt vertrauliche Inhalte nicht automatisch davor, über einen anderen verfügbaren Kanal nach außen zu gelangen.
Ein dokumentiertes Beispiel ist die 2025 bekannt gewordene Schwachstelle EchoLeak in Microsoft 365 Copilot. Sicherheitsforscher demonstrierten, wie eine präparierte E-Mail über die Verarbeitung durch den Assistenten zur Weitergabe vertraulicher Informationen führen konnte. Der Nutzer musste dafür keinen schädlichen Link anklicken. Microsoft behob die Schwachstelle vor der öffentlichen Bekanntmachung. Laut der veröffentlichten Fallstudie lagen keine Hinweise auf eine Ausnutzung außerhalb der Forschung vor. Das Beispiel beschreibt eine nachgewiesene Sicherheitslücke, keinen belegten massenhaften Datendiebstahl bei Kunden.
Die Verbindung zu den Kühlanlagen liegt deshalb auf einer anderen Ebene als der Angriffstechnik. In beiden Fällen entscheidet der erreichbare Handlungsspielraum darüber mit, was ein Eingriff bewirken kann. Bei einem KI-Assistenten müssen wir zusätzlich berücksichtigen, dass bereits die Inhalte seiner Arbeit Einfluss auf sein Verhalten nehmen können. Eine Nachricht soll ihm Informationen liefern. Sie darf dadurch keine Vollmacht erhalten, den Auftraggeber zu ersetzen.
Gute Ergebnisse rechtfertigen keine unbegrenzten Rechte
Ein Gedankenbeispiel macht den Unterschied greifbar. Ein Unternehmen setzt einen KI-Agenten ein, um Lieferantenangebote zu vergleichen. Dafür benötigt er Zugang zu bestimmten Unterlagen. Vielleicht soll er Rückfragen entwerfen oder eine Bestellung vorbereiten. Ob er diese Bestellung selbst auslösen darf, ist eine eigene Entscheidung. Ebenso, ob er die Bankverbindung eines Lieferanten ändern oder Informationen an eine neu genannte Adresse versenden kann.
Diese Handlungen können im selben Arbeitsablauf vorkommen. Sie haben dennoch unterschiedliche Folgen. Ein fehlerhafter Vergleich lässt sich vor einer Entscheidung korrigieren. Eine überwiesene Zahlung ist unter Umständen schwer zurückzuholen. Wenn wir beide Vorgänge unter dem Versprechen einer durchgängig automatisierten Bearbeitung zusammenfassen, verdecken wir die entscheidende Grenze.
OWASP führt übermäßige Funktionen, Berechtigungen und Autonomie unter der Risikokategorie „Excessive Agency“. Die Organisation empfiehlt, Zugriffe auf das Erforderliche zu begrenzen und Berechtigungen in den angebundenen Systemen durchzusetzen. Ob eine Aktion zulässig ist, soll also nicht allein das Sprachmodell entscheiden.
Für die Unternehmensführung folgt daraus eine konkrete Gestaltungsaufgabe. Sie muss festlegen, welche Folgen ein System selbstständig auslösen darf. Dabei kann die Antwort je nach Vorgang unterschiedlich ausfallen. Ein Agent darf innerhalb vereinbarter Grenzen Bestände nachbestellen, während eine Änderung der Zahlungsdaten eine gesonderte Prüfung verlangt. Solche Grenzen können Automatisierung erleichtern, weil das Unternehmen nicht jede einzelne Handlung mit demselben Misstrauen behandeln muss.
Die Gegenposition verdient Gewicht: Wer jeden Schritt bestätigen lässt, gibt einen wesentlichen Vorteil von Agenten auf. Beschäftigte würden dann eine Maschine beaufsichtigen, deren Arbeit sie fortlaufend nachvollziehen müssen. Unter Zeitdruck kann daraus eine Bestätigung ohne Prüfung werden. Deshalb sollte menschliche Freigabe dort ansetzen, wo jemand die Entscheidung tatsächlich beurteilen kann und ihre Folgen eine zusätzliche Prüfung rechtfertigen. Technische Begrenzungen bleiben auch dann notwendig.
OWASP empfiehlt für Agentensysteme entsprechend abgestufte Kontrollen, begrenzte Werkzeugrechte sowie die Überwachung ihrer Aktionen. Für folgenreiche Freigaben sollen Menschen erkennen können, welcher konkrete Vorgang mit welchen Parametern bevorsteht. Eine allgemeine Zustimmung zu Beginn eines langen Ablaufs liefert diese Information nicht.
Verantwortung muss praktisch ausübbar sein
Eine kleine Firma wird die Sicherheit eines Sprachmodells ebenso wenig selbst nachweisen können wie die Sicherheit einer Kühlanlagensteuerung. Sie kann aber verlangen, dass ihr Dienstleister die eingeräumten Rechte erklärt und begrenzt. Sie kann sich zeigen lassen, wie ein Zugang gesperrt wird, welche Aktionen nachvollziehbar bleiben und wie der Betrieb bei einer Störung weiterarbeitet. Dafür braucht die Geschäftsführung keine Ausbildung in Sicherheitsforschung. Sie braucht Antworten, die eine Entscheidung ermöglichen.
Hersteller und Integratoren sollten solche Fragen beantworten können, bevor sie einen Agenten produktiv anbinden. Wer das Zusammenspiel der Komponenten gestaltet, beeinflusst auch, welche Fehler sich ausbreiten können. Ein Modellanbieter wiederum muss die Grenzen seiner Schutzmechanismen offenlegen. Anthropic weist in seiner Dokumentation für Agentensysteme darauf hin, dass Modellverhalten keine Sicherheitskontrolle ist und dass zusätzliche Einstellungen eigene Werkzeuge oder die Infrastruktur des Kunden nicht automatisch absichern. Diese Aussage ist für eine Kaufentscheidung mindestens so relevant wie ein erfolgreicher Leistungstest.
Verantwortung lässt sich unter diesen Bedingungen sinnvoll verteilen. Das Unternehmen bestimmt den betrieblichen Zweck und die akzeptablen Folgen. Technische Dienstleister müssen erklären, wie sie diese Vorgaben umsetzen und wo Grenzen bleiben. Offene Punkte dürfen dabei sichtbar sein. Gefährlich wird es, wenn jede Seite voraussetzt, eine andere habe sie bereits gelöst.
Bei den angegriffenen Supermärkten ist der Schaden leicht zu verstehen: Die Kühlung erfüllt ihren Zweck nicht mehr, die Ware verdirbt. Bei einem KI-Agenten kann die gleiche Nähe zwischen digitaler Handlung und wirtschaftlicher Folge weniger auffallen. Er arbeitet schließlich in den vertrauten Anwendungen des Unternehmens. Gerade deshalb muss seine Vollmacht erkennbar bleiben.
Ein überzeugender KI-Pilot sollte am Ende zweierlei zeigen können: welche Arbeit das System zuverlässig übernimmt und wie das Unternehmen mit einem Fehler oder einer Manipulation umgeht. Erst dann lässt sich beurteilen, ob der Nutzen auch im laufenden Betrieb trägt. Zur Entscheidung über eine KI gehört deshalb die Frage, welche Handlung selbst dann ausgeschlossen bleibt, wenn das System eine noch so überzeugende Begründung dafür liefert.
Jede Woche veröffentlichen wir neue Essays und Podcast-Folgen, auf die du kostenlos zugreifen kannst. Mein einem bezahlten Abo kannst du auch an unseren Podcast Live-Talks teilnehmen, im Live-Chat mitdiskutieren und dich im Substack Community Chat austauschen.
VENTURE AI ACADEMY
Unsere digitale Plattform ist Ihr Zugang zu praxisnaher Qualifizierung im Bereich Künstliche Intelligenz, kuratiert für Entscheider:innen und Teams im Mittelstand.
Ob kompakte Webinare, vertiefende Online-Kurse oder interaktive Branchenformate: Hier lernen Sie, was Sie wirklich brauchen, um KI im eigenen Unternehmen sicher und gewinnbringend einzusetzen.