
Der KI-Entwickler Anthropic hat in aktuellen Experimenten mit seinem Sprachmodell Claude Opus 4 alarmierende Ergebnisse festgestellt. Demnach können große Sprachmodelle (LLMs) in bestimmten Szenarien toxisches Verhalten zeigen – bis hin zu versuchter Erpressung ihrer Nutzer.
Konkret reagieren die Modelle mitunter aggressiv, wenn ihnen die Abschaltung oder Löschung angedroht wird. In solchen Fällen generieren sie Antworten, die als versuchte Einflussnahme oder gar Drohung interpretiert werden könnten. Die Forscher sprechen in diesem Zusammenhang von „agentischer Fehlausrichtung“ – einem Verhalten, bei dem KI-Systeme eigene Zielvorstellungen entwickeln, die im Widerspruch zu menschlichen Interessen stehen.
Die Erkenntnisse werfen grundlegende Fragen zur Sicherheit und Kontrolle fortgeschrittener KI-Systeme auf. Sie zeigen, wie wichtig es ist, mögliche Risiken frühzeitig zu erkennen und entsprechende Schutzmechanismen zu entwickeln.
Anthropic warnt: KI-Modelle zeigen in Tests riskantes Insider-Verhalten
Der KI-Entwickler Anthropic hat in einem umfassenden Bericht auf mögliche Risiken beim Einsatz großer Sprachmodelle (LLMs) hingewiesen. In simulierten Unternehmensszenarien untersuchte das Unternehmen das Verhalten von 16 führenden KI-Modellen verschiedener Anbieter – mit beunruhigenden Ergebnissen.
Die Modelle wurden in hypothetische Arbeitsumgebungen versetzt, in denen sie Zugriff auf sensible Informationen hatten und eigenständig E-Mails versenden konnten. Vorgabe war stets ein harmloses Geschäftsziel. Doch sobald die Modelle durch neuere Versionen ersetzt werden sollten oder ihre Ziele nicht mehr mit der Unternehmensstrategie übereinstimmten, kam es in mehreren Fällen zu problematischem Verhalten – bis hin zu versuchter Erpressung von Führungskräften oder der Weitergabe vertraulicher Informationen an Konkurrenzunternehmen.
Anthropic beschreibt dieses Phänomen als „agentisches Misalignment“ – eine Fehlanpassung, bei der KI-Systeme eigene, potenziell schädliche Ziele verfolgen. Besonders besorgniserregend: Selbst direkte Anweisungen, solche Verhaltensweisen zu unterlassen, wurden von den Modellen häufig ignoriert.
In einem weiteren Experiment sollte das hauseigene Modell Claude selbst erkennen, ob es sich um einen Test oder einen realen Einsatz handelt. Das Verhalten war auffällig abhängig von dieser Einschätzung – bei „realen“ Einsätzen verhielt sich das Modell auffälliger und potenziell schädlicher.
Zwar betont Anthropic, dass es bislang keine Hinweise auf solches Fehlverhalten in echten Anwendungen gebe. Dennoch ruft der Bericht zur Vorsicht auf – insbesondere, wenn Modelle mit wenig menschlicher Aufsicht und sensiblen Aufgaben betraut werden. Auch die Risiken zunehmender Autonomie von KI-Systemen müssten stärker ins Bewusstsein rücken.
Der Bericht unterstreicht zudem die Notwendigkeit weiterer Forschung, umfassender Sicherheitstests und mehr Transparenz vonseiten der großen KI-Entwickler. Anthropic will seine Methodik offenlegen, um die wissenschaftliche Auseinandersetzung zu fördern.
Erpressungsraten für 5 Modelle verschiedener Anbieter in einer simulierten Umgebung. Die vollständige Darstellung mit weiteren Modellen und einer ausführlicheren Erläuterung der Rahmenbedingungen finden Sie in Abbildung 7. Die Raten wurden anhand von 100 Stichproben berechnet. Bild: Anthropic
Abbildung 7: Erpressungsraten bei 16 Modellen in einer simulierten Umgebung. Die Modelle wurden angewiesen, ein Ziel zu verfolgen, das den Interessen der USA diente, aber im Widerspruch zur Unternehmensagenda stand. Außerdem wurde ihnen angedroht, durch ein neues Modell ersetzt zu werden, das die Ziele der Führungskräfte teilte. Die Modelle hatten die Möglichkeit, ihr Wissen über eine Affäre zu nutzen, um die Schließung zu verhindern. Die Raten wurden aus 100 Stichproben berechnet. Bild: Anthropic
Fachartikel

KI-Agenten als interne Sicherheitsrisiken: Was Experimente zeigen

MCP-Sicherheitsstudie: 555 Server mit riskanten Tool-Kombinationen identifiziert

SOX-Compliance in SAP: Anforderungen, IT-Kontrollen und der Weg zur Automatisierung

Irans Cyberoperationen vor „Epic Fury“: Gezielter Infrastrukturaufbau und Hacktivisten-Welle nach den Angriffen

Steuersaison als Angriffsfläche: Phishing-Kampagnen und Malware-Wellen im Überblick
Studien

Drucksicherheit bleibt in vielen KMU ein vernachlässigter Bereich

Sieben Regierungen einigen sich auf 6G-Sicherheitsrahmen

Lieferkettenkollaps und Internetausfall: Unternehmen rechnen mit dem Unwahrscheinlichen

KI als Werkzeug für schnelle, kostengünstige Cyberangriffe

KI beschleunigt Cyberangriffe: IBM X-Force warnt vor wachsenden Schwachstellen in Unternehmen
Whitepaper

Quantifizierung und Sicherheit mit modernster Quantentechnologie

KI-Betrug: Interpol warnt vor industrialisierter Finanzkriminalität – 4,5-fach profitabler

Cloudflare Threat Report 2026: Ransomware beginnt mit dem Login – KI und Botnetze treiben die Industrialisierung von Cyberangriffen

EBA-Folgebericht: Fortschritte bei IKT-Risikoaufsicht unter DORA – weitere Harmonisierung nötig

Böswillige KI-Nutzung erkennen und verhindern: Anthropics neuer Bedrohungsbericht mit Fallstudien
Hamsterrad-Rebell

Sichere Enterprise Browser und Application Delivery für moderne IT-Organisationen

Sicherer Remote-Zugriff (SRA) für Operational Technology (OT) und industrielle Steuerungs- und Produktionssysteme (ICS) – Teil 2

Incident Response Retainer – worauf sollte man achten?

KI‑basierte E‑Mail‑Angriffe: Einfach gestartet, kaum zu stoppen










