Wenn die IA aufhört zu antworten und beginnt in den Unternehmen zu handeln

Wir erleben eine tiefgreifende Mutation in der Art und Weise, wie künstliche Intelligenz in die tägliche Arbeit der Unternehmen aufgenommen wird. In den letzten Jahren konzentrierte sich die Adoption auf Gesprächs- und kopilotische Assistenten, die Fragen, Zusammenfassungstexte beantworten oder Suchanfragen erleichtern. Der aktuelle Trend ist jedoch der Trend der IA-Agenten, die nicht nur den Dialog, sondern die Planung, Begründung und Umsetzung von Maßnahmen in Business-Systemen im Namen von Nutzern oder Organisationen fähig sind.

Dieser Sprung - von "responding" bis "acting" - verändert die Risikolandschaft vollständig. Neue Akteure zeigen nicht nur Informationen: Sie interagieren mit Anwendungen, konsultieren Datenbanken, starten Workflows und in einigen Fällen ändern Ressourcen. Diese Fähigkeit, einzugreifen, verwandelt die IA in eine Einheit, die andere als die eines traditionellen Bots kontrolliert.

Nicht alle Agenten schaffen die gleiche Gefahr. Das Risikoniveau hängt in erster Linie von zwei Variablen ab: was sie erreichen können und wieviel Unabhängigkeit sie ohne menschliche Aufsicht handeln müssen. Ein Assistent, der nur nach lokaler Dokumentation sucht, stellt ein ganz anderes Risiko für einen Agenten dar, der beispielsweise Cloud-Einstellungen ausführen oder kritische Einstellungen ändern kann.

In der Praxis sollten mindestens drei Familien von Unternehmensvertretern unterschieden werden. Die ersten Versionen sind die in verwaltete Plattformen integrierten Chatbots: Sie erscheinen in Produktivitätstools, Kundenpflegesystemen oder Wissensbasen und werden mit menschlicher Interaktion aktiviert, um Informationen zu erholen oder zu verurteilen. Sie sind oft von geringer Autonomie, sind aber nicht ohne Probleme: Wenn sie Steckverbinder mit statischen Anmeldeinformationen oder zu breiten Genehmigungen verwenden, werden sie privilegierte Zugangstüren zu sensiblen Ressourcen.

Die zweite Kategorie, und wahrscheinlich die problematischste aufgrund ihrer schnellen Expansion, sind die lokalen Agenten, die in den Endpunkten der Mitarbeiter laufen. Diese Assistenten sind mit Code-Editoren, Terminals, Analyse-Tools oder automatisierten Skripten integriert und erben die Anmeldeinformationen und Berechtigungen des Benutzers, der sie betreibt. Diese Eigenschaft erleichtert die Annahme, weil sie zentrale Versorgungsschritte eliminiert, aber auch ein Governance-Loch erzeugt: Jeder Mitarbeiter kann, ohne so bewusst zu sein, sein Arbeitsumfeld in einen Aktionsvektor mit Unternehmensberechtigungen verwandeln.

Die dritte Gruppe sind die Produktionsmittel: kontinuierliche Dienstleistungen, die komplexe Aufgaben inszenieren, auf Ereignisse reagieren und ohne menschliche Intervention handeln. Sie werden verwendet, um Vorfälle, DevOps Pipelines oder Geschäftsprozesse zu automatisieren und mit dedizierten Maschinenidentitäten und Anmeldeinformationen zu arbeiten. Hier sind die Risiken deutlicher, weil sie hohe Autonomie, Zugang zu kritischer Infrastruktur und oft die Verarbeitung externer Inputs kombinieren, die schädliche Anweisungen enthalten können.

Der treibende Faden zwischen diesen Szenarien ist Identität. Jeder Agent ist in der Tat eine neue Art von digitalen Identität innerhalb des Unternehmens: Er fragt nach Token, verbraucht APIs, schreibt in Repositories und schießt Jobs. Wenn diese Identitäten schlecht verwaltet werden - übermäßige Berechtigungen, unkontrollierte Lebensdauer, fehlerhafte Rotation - wird der Agent ein Fenster für Angreifer oder eine Quelle von Fehlern mit operativen und regulatorischen Folgen.

Darüber hinaus kann die typische Konfiguration von Architekturen mit mehreren Agenten versteckte Vertrauensketten erzeugen: ein Agent kann eine andere aufrufen und damit Privilegien skaliert oder unbeabsichtigte Aktionen verbreiten. Und Sie müssen nicht unterschätzen, die Belichtung mit Anweisungen Injektionen (Prompt-Injektion), einen Vektor, wo externe Eingaben das Verhalten des Modells manipulieren, um es zu induzieren unerwünschte Aktionen durchzuführen; zu diesem Thema ist es notwendig, spezialisierte Ressourcen wie die OWASP Anleitung auf schnelle Injektion ( OWASP Prompt Injektion)

Für diejenigen, die die Sicherheit (CISUS) leiten, ist die Priorität nicht mehr zu diskutieren, ob die IA in die Organisation eintreten und zu identifizieren, wo sie bereits ist und wie sie funktioniert. Es ist zu wissen, welche Mittel vorhanden sind, welche Identitäten sie verwenden, auf welche Systeme sie zugreifen können und ob diese Genehmigungen dem genannten Zweck jedes Mittels entsprechen. Diese Vision ist die Grundlage für die Entscheidung, welche Ordnung Risiken anzugehen und welche Kontrollen anzuwenden sind.

Einige Hinweise auf eine gute Governance und Risikomanagement können dazu beitragen, diese Reaktion zu strukturieren. Der NIST IA-Risikomanagementrahmen bietet Grundsätze und Instrumente zur Bewertung und Minderung spezifischer Risiken intelligenter Systeme ( NIST zu RMF), während NISTs digitale Identitätsführer nützlich sind, um zu verstehen, wie der Lebenszyklus von menschlichen und maschinellen Identitäten verwaltet werden soll ( NIST SP 800-63) Am Ende der Lieferkette sind die Empfehlungen des United Kingdom National Cybersecurity Centre on Software Supply Chain Security für die Risikominderung von Plugins und externen Einheiten ( NCSC Software Supply Chain Sicherheit)

In der Praxis sollten Organisationen in Erkennung und Sichtbarkeit investieren: Entwickelte Agenten entdecken, Identitäten erfinden und ihre Handlungen aufnehmen. Von dort aus ist es angebracht, das Prinzip von weniger Privilegien und dynamischen Zugangsmechanismen anzuwenden, die das begrenzen, was jede Identität tun kann und wie lange. Die automatische Rotation von Anmeldeinformationen, die Verwendung von föderierten Identitäten und die Kontrolle der Verwendung von Drittanbieter-Plugins sind Maßnahmen, die die Bedrohungsoberfläche reduzieren, ohne die Produktivität zu stoppen.

Nicht weniger wichtig ist die Implementierung von Telemetrie: Spuren, Audits und Alarme, die die Anerkennung von anormalem Verhalten eines Agenten ermöglichen. Resilienztests gegen unerwünschte Anweisungen und eine sichere Validierung externer Eingaben helfen, Vektoren wie die Injektion von Aufforderungen anzugehen. Um diese Tests zu entwerfen, ist es angebracht, eine gute Praxis von Plattformen zu konsultieren, die Modelle und APIs anbieten, die oft spezifische Sicherheitsempfehlungen enthalten ( Leitfaden für die Sicherheit von OpenAI) und Dokumentation der verantwortlichen künstlichen Intelligenz durch Cloud-Lieferanten ( Microsoft Verantwortliche KI)

Das Paradox des Alters der Agenten ist, dass die Geschwindigkeit und Autonomie, die sie so nützlich machen, auch diejenigen sind, die ein Umdenken der traditionellen Kontrollen erfordern. Die für den Menschen und für konventionelle Dienstleistungen konzipierten Identity- und Access-Tools reichen nicht aus: Lösungen sind erforderlich, um die Identität von Agenten in einer Skala zu verwalten, mit Bereitstellung, temporären Zugangsregeln, automatische Rotation und Audit-Funktionen, die für automatisierte Aktivitäten bestimmt sind.

Am Ende ist die Sicherung der IA nicht zu verbieten, sondern zu regieren. Die Organisationen, die schneller voranschreiten, werden diejenigen sein, die wissen, wie sie ihre Agenten abbilden, Genehmigungen mit operativen Absichten ausrichten und Identitätskontrollen als Kontrollplan anwenden. In diesem Sinne ist Identität nicht mehr Bestandteil der Architektur: Es wird der zentrale Hebel, um die sichere Annahme von Agenten, die ohne häufige menschliche Kontrolle handeln, zu ermöglichen.

Wenn Ihr Unternehmen Agenten einsetzt oder auswertet, ist es angebracht, mit einem Inventar zu beginnen, Risikokriterien auf Basis von Zugriff und Autonomie zu definieren und die Kontrollen an den Agenten mit der größten Wirkungskapazität zu priorisieren. Die Literatur und Muster von Agenturen wie NIST und die Sicherheitsteams von Plattformanbietern bieten solide Rahmenbedingungen, um diesen Übergang zu einer IA zu strukturieren, die Wert bietet, ohne die Sicherheit zu beeinträchtigen.