
Laut einer aktuellen Prognose des IT-Marktforschungsunternehmens Gartner werden sogenannte Guardian Agents bis zum Jahr 2030 einen Marktanteil von 10 bis 15 Prozent im Bereich agentenbasierter Künstlicher Intelligenz erreichen.
Guardian Agents sind spezialisierte KI-Technologien, die für besonders zuverlässige und sichere Interaktionen mit anderen KI-Systemen entwickelt wurden. Sie sollen vor allem in einer Zeit wachsender digitaler Risiken eine zentrale Rolle spielen: Neben der Unterstützung menschlicher Nutzer bei der Analyse, Überwachung und Verifikation von Inhalten, entwickeln sich Guardian Agents zunehmend zu autonomen Systemen, die eigenständig Handlungsstrategien entwerfen und umsetzen können.
Dabei sind sie nicht nur auf die Assistenz beschränkt – in kritischen Situationen greifen sie auch regulierend ein, etwa indem sie Prozesse umleiten oder blockieren, um sicherzustellen, dass vorab definierte ethische, rechtliche oder sicherheitstechnische Ziele eingehalten werden.
Guardrails sind erforderlich, da der Einsatz von agentenbasierter KI weiter zunimmt
Laut einer Gartner-Webinar-Umfrage unter 147 CIOs und IT-Führungskräften, die im Mai 2025 durchgeführt wurde, hatten 24 % der Befragten bereits einige KI-Agenten (weniger als ein Dutzend) eingesetzt, weitere 4 % hatten mehr als ein Dutzend eingesetzt.
Die gleiche Umfrage ergab, dass 50 % der Befragten angaben, die Technologie zu erforschen und zu testen, während weitere 17 % angaben, dies noch nicht getan zu haben, aber planten, die Technologie bis spätestens Ende 2026 einzusetzen. Automatisierte Vertrauens-, Risiko- und Sicherheitskontrollen sind erforderlich, um diese Agenten aufeinander abzustimmen und sicher zu halten, was den Bedarf an Guardian Agents und deren Verbreitung beschleunigt.
„Agentische KI führt zu unerwünschten Ergebnissen, wenn sie nicht mit den richtigen Leitplanken kontrolliert wird“, sagte Avivah Litan, VP Distinguished Analyst bei Gartner. „Guardian Agents nutzen ein breites Spektrum an agentischen KI-Fähigkeiten und KI-basierten, deterministischen Bewertungen, um die gesamte Bandbreite der Agentenfähigkeiten zu überwachen und zu verwalten und so die Entscheidungsfindung während der Laufzeit mit dem Risikomanagement in Einklang zu bringen.“
Risiken steigen mit zunehmender Macht und Verbreitung von Agenten
52 % der 125 Befragten derselben Webinar-Umfrage gaben an, dass ihre KI-Agenten hauptsächlich auf Anwendungsfälle im Zusammenhang mit internen Verwaltungsfunktionen wie IT, Personalwesen und Buchhaltung ausgerichtet sind oder sein werden, während 23 % sich auf externe kundenorientierte Funktionen konzentrieren.
Da die Anwendungsfälle für KI-Agenten weiter zunehmen, gibt es mehrere Bedrohungskategorien, die sich auf sie auswirken, darunter Eingabemanipulation und Datenvergiftung, bei denen Agenten auf manipulierte oder falsch interpretierte Daten angewiesen sind. Beispiele hierfür sind:
- Die Entwendung und der Missbrauch von Anmeldedaten, was zu unbefugter Kontrolle und Datendiebstahl führt.
- Agenten, die mit gefälschten oder kriminellen Websites und Quellen interagieren, was zu vergifteten Aktionen führen kann.
- Agentenabweichungen und unbeabsichtigtes Verhalten aufgrund interner Mängel oder externer Auslöser, die zu Reputationsschäden und Betriebsstörungen führen können.
„Die rasante Beschleunigung und zunehmende Handlungsfähigkeit von KI-Agenten erfordert eine Abkehr von der traditionellen menschlichen Überwachung“, so Litan. „Da Unternehmen zunehmend komplexe Multi-Agenten-Systeme einsetzen, die mit rasender Geschwindigkeit kommunizieren, können Menschen mit dem Potenzial für Fehler und böswillige Aktivitäten nicht Schritt halten. Diese eskalierende Bedrohungslage unterstreicht den dringenden Bedarf an Guardian Agents, die automatisierte Überwachung, Kontrolle und Sicherheit für KI-Anwendungen und -Agenten bieten.“
CIOs sowie Sicherheits- und KI-Verantwortliche sollten sich auf drei primäre Einsatzarten von Guardian Agents konzentrieren, um zur Sicherung und zum Schutz von KI-Interaktionen beizutragen:
- Reviewer: Identifizierung und Überprüfung von KI-generierten Ergebnissen und Inhalten auf Richtigkeit und akzeptable Nutzung.
- Monitor: Beobachtung und Verfolgung von KI- und Agentenaktionen für menschliche oder KI-basierte Folgemaßnahmen.
- Protector: Anpassung oder Blockierung von KI- und Agentenaktionen und -berechtigungen durch automatisierte Maßnahmen während des Betriebs.
Guardian Agents verwalten Interaktionen und Anomalien unabhängig von der Anwendungsart. Dies ist ein wichtiger Pfeiler ihrer Integration, da Gartner prognostiziert, dass bis 2028 70 % der KI-Anwendungen Multi-Agent-Systeme verwenden werden.
Gartner-Kunden können mehr darüber in „Guardians of the Future: How CIOs Can Leverage Guardian Agents for Trustworthy and Secure AI” (Wächter der Zukunft: Wie CIOs Guardian Agents für vertrauenswürdige und sichere KI nutzen können) lesen. Weitere Informationen finden Sie auch im kostenlosen Gartner-Webinar „CIOs, Leverage Guardian Agents for Trustworthy and Secure AI” (Wächter der Zukunft: Wie CIOs Guardian Agents für vertrauenswürdige und sichere KI nutzen können).
Gartner clients can read more in Guardians of the Future: How CIOs Can Leverage Guardian Agents for Trustworthy and Secure AI. Additional details can also be found in the complimentary Gartner webinar CIOs, Leverage Guardian Agents for Trustworthy and Secure AI.
Bild/Quelle: https://depositphotos.com/de/home.html
Fachartikel

KI-Agenten als interne Sicherheitsrisiken: Was Experimente zeigen

MCP-Sicherheitsstudie: 555 Server mit riskanten Tool-Kombinationen identifiziert

SOX-Compliance in SAP: Anforderungen, IT-Kontrollen und der Weg zur Automatisierung

Irans Cyberoperationen vor „Epic Fury“: Gezielter Infrastrukturaufbau und Hacktivisten-Welle nach den Angriffen

Steuersaison als Angriffsfläche: Phishing-Kampagnen und Malware-Wellen im Überblick
Studien

Drucksicherheit bleibt in vielen KMU ein vernachlässigter Bereich

Sieben Regierungen einigen sich auf 6G-Sicherheitsrahmen

Lieferkettenkollaps und Internetausfall: Unternehmen rechnen mit dem Unwahrscheinlichen

KI als Werkzeug für schnelle, kostengünstige Cyberangriffe

KI beschleunigt Cyberangriffe: IBM X-Force warnt vor wachsenden Schwachstellen in Unternehmen
Whitepaper

Quantifizierung und Sicherheit mit modernster Quantentechnologie

KI-Betrug: Interpol warnt vor industrialisierter Finanzkriminalität – 4,5-fach profitabler

Cloudflare Threat Report 2026: Ransomware beginnt mit dem Login – KI und Botnetze treiben die Industrialisierung von Cyberangriffen

EBA-Folgebericht: Fortschritte bei IKT-Risikoaufsicht unter DORA – weitere Harmonisierung nötig

Böswillige KI-Nutzung erkennen und verhindern: Anthropics neuer Bedrohungsbericht mit Fallstudien
Hamsterrad-Rebell

Sichere Enterprise Browser und Application Delivery für moderne IT-Organisationen

Sicherer Remote-Zugriff (SRA) für Operational Technology (OT) und industrielle Steuerungs- und Produktionssysteme (ICS) – Teil 2

Incident Response Retainer – worauf sollte man achten?

KI‑basierte E‑Mail‑Angriffe: Einfach gestartet, kaum zu stoppen








