Wer Uran anreichert, kann sich nicht einfach mit dem Hinweis auf seine guten Absichten aus der Verantwortung verabschieden. Für nukleares Material gibt es internationale Kontrollverfahren. Die Internationale Atomenergie-Organisation überprüft im Rahmen entsprechender Abkommen, ob Staaten ihre Verpflichtungen zur friedlichen Nutzung einhalten. Diese Ordnung ist unvollständig und verletzlich. Aber sie beruht auf einer vernünftigen Einsicht: Bei Technologien mit katastrophalem Missbrauchspotenzial genügt Vertrauen allein nicht.
Bei künstlicher Intelligenz müssen wir uns fragen, ob wir diese Einsicht rechtzeitig ernst nehmen.
Noch sprechen wir über KI häufig wie über eine besonders beeindruckende Bürosoftware. Sie schreibt, programmiert, recherchiert. Wir diskutieren, welche Arbeitsplätze sie verändert und wie viel Zeit sie spart. Das ist nachvollziehbar, weil die meisten Menschen ihr genau dort begegnen. Doch dieser Blick reicht nicht aus, sobald Systeme eigenständig handeln, auf andere Systeme zugreifen und in militärische Entscheidungen eingebunden werden.
Dann geht es um Macht über Vorgänge in der realen Welt. Um die Frage, wer diese Macht erhält, wer ihren Einsatz begrenzt und was passiert, wenn die Kontrolle versagt.
Ich halte es für gefährlich, diese Entwicklung weiterhin vor allem als Produktwettbewerb zu betrachten. Bestimmte KI-Fähigkeiten müssen wir mit derselben sicherheitspolitischen Ernsthaftigkeit behandeln wie gefährliche Waffensysteme. Dafür müssen wir nicht behaupten, jede KI sei eine Waffe. Wir müssen begreifen, welche Folgen ihre Fähigkeiten in den falschen Händen oder ohne wirksame menschliche Kontrolle haben können.
Die Warnung kommt aus dem Labor
Anfang September machte der Forscher Jacob Coxon seinen Abschied von Anthropic öffentlich. Er warf Anthropic und OpenAI vor, im Rennen um immer leistungsfähigere KI unverantwortlich zu handeln. Seine Warnung betraf die mögliche Entwicklung von Systemen, deren weitere Verbesserung sich der menschlichen Kontrolle entziehen könnte.
Evan Hubinger, der bei Anthropic an der Ausrichtung von KI auf menschliche Ziele arbeitet, bezifferte seine persönliche Einschätzung eines existenziellen Risikos durch KI innerhalb des nächsten Jahrzehnts auf mehr als zehn Prozent. Diese Zahl ist keine gemessene Wahrscheinlichkeit. Sie ist das Urteil eines beteiligten Forschers über eine unsichere Zukunft. Wer sie als wissenschaftlich gesicherte Prognose behandelt, macht aus einer Warnung eine Gewissheit, die sie nicht ist.
Aber wer sie deshalb achselzuckend beiseiteschiebt, macht es sich ebenso leicht.
Wir können die Prognosen für überzogen halten und trotzdem verlangen, dass die dahinterliegenden Bedenken unabhängig untersucht werden. Es wäre ein merkwürdiges Verständnis von Fortschritt, den Entwicklern ihre optimistischsten Zukunftsversprechen abzunehmen, ihre Sicherheitsbedenken aber grundsätzlich für Theater zu halten.
Inzwischen fordert auch Anthropic-Chef Dario Amodei, die Verbesserung der leistungsfähigsten Modelle zu verlangsamen, damit die Sicherheitsarbeit Schritt halten kann. Er schlägt dauerhaft eingebundene externe Prüfer vor und kündigt für sein Unternehmen entsprechende Zugänge an.
Daran ist bemerkenswert, dass die Forderung aus einem Unternehmen kommt, das selbst an diesem Wettbewerb teilnimmt. Sie verdient eine ernsthafte Antwort. Zugleich bleibt eine angekündigte Selbstverpflichtung etwas anderes als eine verbindliche Kontrollordnung.
Wer Risiken benennt, hat damit seine Verantwortung noch nicht erfüllt. Entscheidend ist, welche Entscheidung sich wegen dieser Risiken tatsächlich ändert.
Wenn Software Gewalt ausüben kann
Die Debatte über eine mögliche Superintelligenz hat einen Nachteil: Sie verlagert unsere Aufmerksamkeit leicht in eine Zukunft, über deren Zeitpunkt und Gestalt niemand verlässlich Auskunft geben kann. Dabei liegt eine konkrete Frage längst vor uns. Wie viel Entscheidungsmacht über den Einsatz von Gewalt wollen wir technischen Systemen überlassen?
Das Internationale Komitee vom Roten Kreuz beschreibt autonome Waffen als Systeme, die nach ihrer Aktivierung Ziele ohne weiteres menschliches Eingreifen auswählen und bekämpfen können. Es fordert neue verbindliche internationale Regeln, darunter Verbote unvorhersehbarer autonomer Waffen und strenge Beschränkungen für andere Systeme.
Nicht jedes autonome Waffensystem verwendet KI. Und militärische KI wird auch für Aufgaben eingesetzt, die keine unmittelbare Gewaltanwendung bedeuten. Diese Unterschiede sind wichtig. Sie ändern aber nichts an der grundlegenden Schwelle: Sobald Software darüber mitentscheidet, gegen wen Gewalt eingesetzt wird, reichen die Maßstäbe einer gewöhnlichen Produkteinführung nicht mehr aus.
Ein fehlerhafter Text lässt sich berichtigen. Die Folgen eines tödlichen Angriffs lassen sich nicht zurücknehmen. Wer beides unter dem freundlichen Begriff des Experimentierens zusammenfasst, verliert jedes Gefühl für Verhältnismäßigkeit.
Hinzu kommt der Missbrauch. Sicherheitsvorkehrungen müssen auch dem Versuch standhalten, Systeme gezielt für schädliche Zwecke einzusetzen. Dabei dürfen wir weder terroristische Gruppen ausblenden noch staatlichen Akteuren pauschal verantwortliches Handeln unterstellen. Die entscheidende Frage lautet, welche gefährlichen Fähigkeiten zugänglich werden und wie wir verhindern, dass daraus praktisch nutzbare Gewalt entsteht.
Dafür braucht es keine Behauptung, heutige KI könne bereits jede denkbare Bedrohung verwirklichen. Es braucht belastbare Prüfungen dessen, was ein System tatsächlich ermöglicht. Je größer der mögliche Schaden, desto weniger dürfen wir uns mit der Versicherung zufriedengeben, der Anbieter habe die Sache im Griff.
An dieser Stelle wird der Vergleich mit Waffensystemen sachlich. Er betrifft die Konsequenz, mit der wir Risiken prüfen und Grenzen durchsetzen müssen.
Was uns die nukleare Kontrolle lehrt
Uran und Software sind grundverschieden. Nukleares Material ist physisch erfassbar. Digitale Systeme lassen sich unter anderen Bedingungen vervielfältigen, verändern und verbreiten. Eine Kontrollordnung für KI kann deshalb keine schlichte Kopie nuklearer Aufsicht sein.
Die grundlegende Einsicht lässt sich dennoch übertragen: Eine Technologie mit friedlichen Einsatzmöglichkeiten kann zugleich Fähigkeiten hervorbringen, deren Missbrauch eine besondere internationale Kontrolle rechtfertigt.
Niemand muss dafür die zivile Nutzung grundsätzlich ablehnen. Gerade wer ihre Vorteile erhalten will, braucht eine glaubwürdige Grenze gegenüber Anwendungen und Entwicklungen mit unvertretbaren Risiken. Bei KI sollten wir diese Grenze anhand konkreter Fähigkeiten und Einsatzbedingungen bestimmen. Eine Schreibassistenz verlangt eine andere Prüfung als ein autonom handelndes System mit weitreichendem Zugriff auf kritische Infrastruktur.
Es wäre allerdings zu spät, erst nach einer unkontrollierten Verbreitung gefährlicher Fähigkeiten ernsthaft über solche Grenzen zu verhandeln. Kontrolle muss auch vor der Freigabe ansetzen. Entwickler müssen nachweisen, welche Risiken sie geprüft haben, wo ihre Schutzmaßnahmen versagen könnten und unter welchen Bedingungen sie den Einsatz begrenzen.
Dazu gehören Prüfer, die mehr sehen dürfen als eine sorgfältig vorbereitete Demonstration. Wer Sicherheit beurteilen soll, braucht Zugang zu relevanten Systemen, Ergebnissen und Vorfällen. Schlechte Befunde müssen Folgen haben können, selbst wenn die Veröffentlichung eines neuen Modells unmittelbar bevorsteht.
Genau hier trennt sich eine Kontrollordnung von einem Sicherheitsversprechen. Eine wirksame Aufsicht muss eine Entscheidung durchsetzen können, die das beaufsichtigte Unternehmen Geld kostet.
Auch internationale Kontrollen können scheitern. Staaten können Informationen zurückhalten, Unternehmen Lücken ausnutzen, Prüfer Entwicklungen übersehen. Daraus folgt die Notwendigkeit, Kontrollen zu verbessern. Ihre Unvollkommenheit ist kein überzeugendes Argument dafür, sich mit noch weniger zufriedenzugeben.
Wir sollten uns von der Vorstellung verabschieden, Verantwortung lasse sich allein durch die richtige Haltung organisieren. Sie braucht Institutionen, Befugnisse und überprüfbare Konsequenzen.
Europas Aufgabe
Europa könnte dabei eine wichtige Rolle übernehmen. Allerdings würde ich diese Rolle nicht mit der bequemen Erzählung begründen, Amerika interessiere sich nur für Gewinne und wir Europäer seien für das Gewissen zuständig. Schon die Warnungen und Vorschläge aus amerikanischen Forschungslaboren widersprechen diesem Bild.
Wirtschaftliche Interessen verschwinden auf keiner Seite des Atlantiks. Wo viel Kapital, strategischer Einfluss und technologische Führungsansprüche zusammenkommen, wächst der Druck, weiterzumachen. Deshalb darf wirksame Kontrolle weder vom guten Willen eines einzelnen Unternehmens noch von der Selbsteinschätzung eines Staates abhängen.
Ein europäischer Beitrag müsste praktisch sein: unabhängige Prüfkompetenz aufbauen, internationale Vereinbarungen vorantreiben und darauf bestehen, dass gefährliche Fähigkeiten nach nachvollziehbaren Maßstäben bewertet werden. Wer ernst genommen werden möchte, muss selbst genug von der Technologie verstehen, um Anbieterangaben prüfen zu können.
Es wäre zu wenig, den amerikanischen Wettbewerb aus der Distanz zu kommentieren und zusätzliche Formulare zu verlangen. Europa braucht eigene Forschung, leistungsfähige Unternehmen und Menschen, die Sicherheit technisch untersuchen können. Fachliche Unabhängigkeit entsteht auch dadurch, dass öffentliche Stellen nicht bei jeder schwierigen Frage auf die Unternehmen angewiesen sind, die sie beaufsichtigen sollen.
Gleichzeitig müssen die Anforderungen verhältnismäßig bleiben. Eine Kontrollordnung, die kleine Unternehmen mit pauschalen Pflichten überzieht und den mächtigsten Anbietern weitgehend ihre eigenen Maßstäbe überlässt, würde ihr Ziel verfehlen. Strenge muss dort ansetzen, wo Fähigkeiten, Handlungsspielräume und mögliches Schadensausmaß sie verlangen.
Das ist für mich auch eine Aufgabe in der Arbeit des Bundesverbandes für KI-Transformation e.V.: unternehmerischen Einsatz ermöglichen und die Debatte über Verantwortung präziser führen. Unternehmen brauchen Raum, um KI sinnvoll einzusetzen. Sie brauchen ebenso verlässliche Bedingungen, unter denen sie den eingesetzten Systemen vertrauen können.
Diese beiden Anliegen gehören zusammen. Wer jede Kontrolle als Innovationsfeindlichkeit abtut, gefährdet auf Dauer auch die Akzeptanz der Technologie.
Verantwortung muss etwas kosten dürfen
Der unangenehmste Teil dieser Debatte beginnt, wenn Sicherheit einen Preis bekommt.
Ein Test verzögert die Veröffentlichung. Eine Auflage begrenzt den Einsatz. Ein gefährlicher Funktionsumfang darf vorerst nicht zugänglich gemacht werden. Der Wettbewerber könnte die Zwischenzeit nutzen. Investoren könnten ungeduldig werden.
An diesem Punkt zeigt sich, ob Verantwortung mehr ist als eine wohlklingende Beschreibung der eigenen Absichten.
Natürlich lässt sich ein internationaler Wettlauf nicht durch moralische Appelle auflösen. Die Sorge, dass andere Akteure weniger vorsichtig handeln, ist real. Aber wenn diese Sorge jede Grenze außer Kraft setzt, bestimmen am Ende die Rücksichtslosesten das Tempo für alle. Dann wird aus Wettbewerb eine dauerhafte Entschuldigung.
Gerade deshalb brauchen wir überprüfbare Vereinbarungen und eine Aufsicht, die über einzelne Unternehmen hinausreicht. Niemand sollte allein entscheiden dürfen, welches potenziell katastrophale Risiko andere Menschen tragen müssen, nur weil das eigene Geschäftsmodell oder der eigene Machtanspruch davon profitiert.
Wir müssen dabei ehrlich über die Unsicherheit bleiben. Die Entwicklung einer unkontrollierbaren Superintelligenz ist kein feststehendes Ereignis. Auch aus der rasanten Verbesserung heutiger Systeme folgt nicht automatisch ein bestimmtes Katastrophenszenario. Solche Behauptungen würden die Debatte dramatisieren und zugleich angreifbar machen.
Die Notwendigkeit von Vorsorge hängt aber nicht davon ab, dass wir eine Katastrophe bereits sicher vorhersagen können. Sie ergibt sich daraus, welche gefährlichen Fähigkeiten nachweisbar entstehen, wie weit ihre Wirkung reicht und ob unsere Kontrollmöglichkeiten damit Schritt halten.
Ich will, dass wir die Chancen künstlicher Intelligenz nutzen. Gerade deshalb halte ich es für unverantwortlich, ihre möglichen Folgen mit dem Hinweis auf den nächsten Produktivitätssprung kleinzureden. Der wirtschaftliche Nutzen beantwortet die Sicherheitsfrage nicht. Er macht eine tragfähige Antwort dringlicher.
Ein Sicherungskasten ist für diese Aufgabe als Leitbild zu klein. Wir sprechen über die mögliche Verlagerung von Entscheidungsmacht an Systeme, die schneller handeln können, als Menschen ihre Handlungen verstehen und korrigieren. Im militärischen Kontext kann dabei die Kontrolle über tödliche Gewalt auf dem Spiel stehen.
Diesen Maßstab muss unsere Sprache aushalten. Und unsere Aufsicht erst recht.
Wer KI mit potenziell katastrophaler Wirkung entwickelt, darf ihre Grenzen nicht allein bestimmen. Menschliche Kontrolle muss nachweisbar sein, bevor ihr Verlust zum Beweis wird.
Nicht jeder KI-Dienstleister ist ein Umsetzungspartner.
Genau deshalb bauen wir im Bundesverband für KI-Transformation e.V. das Venture AI Execution Partner Programm auf.
Wir suchen Unternehmen, Beratungen, Technologieanbieter und Umsetzungspartner, die KI nicht nur erklären, sondern tatsächlich in Organisationen bringen.
Mit belastbaren Lösungen. Mit nachweisbarer Kompetenz. Mit dem Anspruch, KI-Transformation messbar voranzubringen.
Das Venture AI Execution Partner Programm soll Unternehmen Orientierung geben und gleichzeitig den besten Umsetzungspartnern im Markt mehr Sichtbarkeit, Zugang und Geschäftsmöglichkeiten eröffnen.
Als Venture AI Execution Partner profitierst du unter anderem von:
Positionierung als qualifizierter Umsetzungspartner im Netzwerk des Bundesverbandes
Zugang zu Unternehmen mit konkretem Transformationsbedarf
Einbindung in Projekte, Execution Teams und Initiativen
Sichtbarkeit über unsere Plattformen, Veranstaltungen und Formate
Vernetzung mit Entscheidern, Experten, Startups und Technologiepartnern
einem Qualitätsrahmen, der Kompetenz von bloßem KI-Marketing unterscheidet
Wichtig:
Venture AI Execution Partner kann nicht einfach jeder werden.
Voraussetzung ist die Mitgliedschaft im Bundesverband für KI-Transformation e.V. sowie die entsprechende Qualifizierung über unseren Venture AI Excellence Award.
Wir wollen kein möglichst großes Partnerverzeichnis.
Wir wollen ein Netzwerk derjenigen aufbauen, die KI-Transformation in Deutschland wirklich umsetzen können.
Dein Unternehmen gehört dazu?
Dann findest du auf unser Website weitere Informationen, wie du in das Partnerprogramm aufgenommen werden kannst.