
Analysts Will Discuss New AI Threats and Risks at Gartner Security & Risk Management Summit 2023, 26-28 September in London, U.K.
Thirty-four per cent of organisations are either already using or implementing artificial intelligence (AI) application security tools to mitigate the accompanying risks of generative AI (GenAI), according to a new survey from Gartner, Inc. Over half (56%) of respondents said they are also exploring such solutions.
The Gartner Peer Community survey was conducted from1 April to 7 April among 150 IT and information security leaders at organisations where GenAI or foundational models are in use, in plans for use, or being explored.
Twenty-six per cent of survey respondents said they are currently implementing or using privacy-enhancing technologies (PETs), ModelOps (25%) or model monitoring (24%) (see Figure 1).
Figure 1. Organisations Using or Planning to Use Tools to Address Risks Related to Generative AI (Percentage of Respondents)
Source: Gartner Peer Community (September 2023)
“IT and security and risk management leaders must, in addition to implementing security tools, consider supporting an enterprise-wide strategy for AI TRiSM (trust, risk and security management),” said Avivah Litan, Distinguished VP Analyst at Gartner. “AI TRiSM manages data and process flows between users and companies who host generative AI foundation models, and must be a continuous effort, not a one-off exercise to continuously protect an organisation.”
IT Is Ultimately Responsible for GenAI Security
While 93% of IT and security leaders surveyed said they are at least somewhat involved in their organisation’s GenAI security and risk management efforts, only 24% said they own this responsibility.
Among the respondents that do not own the responsibility for GenAI security and/or risk management, 44% reported that the ultimate responsibility for GenAI security rested with IT. For 20% of respondents, their organisation’s governance, risk, and compliance departments owned the responsibility.
Top-of-Mind Risks
The risks associated with GenAI are significant, continuous and will constantly evolve. Survey respondents indicated that undesirable outputs and insecure code are among their top-of-mind risks when using GenAI:
- 57% of respondents are concerned about leaked secrets in AI-generated code.
- 58% of respondents are concerned about incorrect or biased outputs.
“Organisations that don’t manage AI risk will witness their models not performing as intended and, in the worst case, can cause human or property damage,” said Litan. “This will result in security failures, financial and reputational loss, and harm to individuals from incorrect, manipulated, unethical or biased outcomes. AI malperformance can also cause organisations to make poor business decisions.”
Gartner clients can read more in the report “Generative AI Security and Risk Management.”
Gartner Umfrage: 34 % der Unternehmen nutzen oder implementieren schon Sicherheitstools für KI-Anwendungen
Analysten diskutieren neue KI-Bedrohungen auf dem Gartner Security & Risk Management Summit 2023 vom 26. bis 28. September in London
34 % der Unternehmen nutzen oder implementieren bereits Tools für die Anwendungssicherheit von künstlicher Intelligenz (KI), um die damit verbundenen Risiken der generativen KI (GenAI) zu mindern, so eine neue Umfrage von Gartner. Mehr als die Hälfte (56 %) der Befragten gab an, dass sie solche Lösungen auch in Erwägung ziehen.
Die Gartner-Peer-Community-Umfrage wurde vom 1. April bis zum 7. April unter 150 IT- und Informationssicherheits-Führungskräften durchgeführt. Es ging um Unternehmen, in denen GenAI oder grundlegende Modelle im Einsatz sind, deren Einsatz geplant ist oder geprüft wird.
26 % der Befragten gaben an, dass sie derzeit Technologien zum Schutz der Privatsphäre („Privacy Enhancing Technologies“, PETs), ModelOps (25 %) oder Modellkontrolle (24 %) einführen oder nutzen (siehe Abbildung 1).
„IT-, Sicherheits- und Risikomanagement-Verantwortliche müssen neben der Implementierung von Sicherheitstools auch eine unternehmensweite Strategie für KI TRiSM – für ‚Trust, Risk and Security Management‘ – in Betracht ziehen“, so Avivah Litan, Distinguished VP Analyst bei Gartner. „KI TRiSM verwaltet Daten- und Prozessflüsse zwischen Nutzern und Unternehmen, die generative KI-Grundlagenmodelle hosten. Und das sollte nicht sporadisch geschehen, sondern kontinuierlich.“
Fachartikel
Studien

Gartner-Umfrage: Nur 14% der Sicherheitsverantwortlichen können Datensicherheit und Geschäftsziele erfolgreich vereinen

Zunehmende Angriffskomplexität

Aufruf zum Handeln: Dringender Plan für den Übergang zur Post-Quanten-Kryptographie erforderlich

IBM-Studie: Gen-KI wird die finanzielle Leistung von Banken im Jahr 2025 steigern

Smartphones – neue Studie zeigt: Phishing auch hier Sicherheitsrisiko Nr. 1
Whitepaper

Wie NIS2 und DORA die SaaS-Compliance beeinflussen

Umsetzung des Konzeptes „Cyber-Nation“: Bundesverband IT-Sicherheit (TeleTrusT) veröffentlicht Forderungskatalog

Häufige Herausforderungen bei der Cyberkriminalität

Datasheets: Kontinuierliche Compliance mit Onapsis
