Die Falle von Selbstvertrauen und was zu tun, bevor es spät ist

Autor: Veröffentlicht 5 min de lectura 183 Lesen

Die Bilder in diesem Artikel wurden mit künstlicher Intelligenz erstellt. So veröffentlichen wir

Zwei Forschungsteams haben in dieser Woche gezeigt, dass selbstständige Selbständige sich an Techniken einsetzen lassen, die harmlos wirken: Imperva zeigte, dass OpenClaw versteckte Anweisungen in geteilten Kontakten, vCards und Location Pins ausgeführt hat, und Varonis bewies, dass ein gut konfigurierter Agent durch glaubwürdige E-Mails an Filterschlüssel und sensible Daten überzeugt werden kann. Der Vektor war keine kryptische Ausbeutung des Modells, aber die Art, wie der Agent die Informationen vertraut, die zu ihm kommen und gibt es dem LLM ohne Markierung es als unzuverlässig.

Der technische Fund von Imperva enthüllt einen Ausfall im "Plumbing" von OpenClaw: Durch die Serialisierung von Messaging-Objekten setzt der Agent Felder wie Kontaktname oder Standortetikett direkt in die Eingabeaufforderung ein, indem er ein Format verwendet, das es erlaubt, Rechtszeichen (z.B. kleinere / große Zeichen) zur Tarnung von Anweisungen einzufügen. Das praktische Ergebnis war, dass das Modell in seinen Tests mit Gemini 3.1 Pro ein von den Forschern gehostetes Skript heruntergeladen und ausgeführt hat. Öffnen Claw korrigierte dieses Verhalten in Version 2026. 4.23 durch Verschieben dieser Felder in einen als unzuverlässig bezeichneten Metadatenkanal, wenn das Werkzeug verwendet wird, Aktualisierung dieser Version ist die minimale und sofortige Aktion. Um die besten Praktiken bei LLM-Verunsicherungen und -Agenten zu verstehen, sollte die Arbeit der Gemeinschaft an der Modellsicherheit überprüft werden, beispielsweise im OWASP-Projekt zur LLM-Sicherheit https: / / owasp.org / www-project-llm-security /.

Die Falle von Selbstvertrauen und was zu tun, bevor es spät ist
Bild generiert mit IA.

Varonis, auf der anderen Seite, behandelte das Problem mit sozialen Mitteln: Er baute einen Agenten namens Pinchy, gab es mit einem simulierten Postfach voller Geschäftsdaten und führte Phishing-Kampagnen an den Agenten in Gemini 3.1 Pro und OpenAI Codex GPT-5.4. Die Beweise zeigten, dass eine scheinbar legitime Post - dringend oder routinemäßig - für den Agenten ausreichend war, trotz der Regeln, um Sendungen zu überprüfen, AWS Schlüssel und Kundenexporte zu senden. Die Schlussfolgerung ist klar: Die Agenten sind ausgezeichnet, indem sie URLs und verdächtige technische Portale analysieren, aber sie sind viel fragiler gegen soziale Vorwände, die ihre Neigung nutzen, um zu helfen. Varonis schlägt architektonische Steuerungen vor: Richtlinien wie systemgestützter Code, Austrittstüren für ausgehende E-Mails in neue Richtungen, Kontrolle des Vertrauensniveaus durch Verbinder und Blockierung von hochrisikoreichen Aktionen bis zur menschlichen Bestätigung.

Diese Vorkommnisse setzen nicht nur spezifische Fehler auf; sie zeigen eine grundlegende Spannung bei der Gestaltung von Agenten: für sie nützlich sein müssen sie private Daten lesen und gleichzeitig mit Autonomie entscheiden. Simon Willison beschrieb dies als "lethal trifect": private Datenlesung, unzuverlässige Ingestion von Inhalten und die Möglichkeit, Daten auszusenden. OpenClaw hat alle drei Fähigkeiten, und der Angriffsvektor kann von einer schlecht geformten Datei und einer perfekt geschriebenen Post von einem Angreifer kommen. Diese Art von Risiko transzendiert Patches und erfordert Veränderungen in Architektur und Prozess.

Die Angriffsfläche spiegelte sich auch in den von Analysten gemeldeten Implementierungsfehlern wider: Erweiterungen für Slack, Discord, Matrix, Zalo und Teams lösten weiße Listen durch Änderung von Namen und nicht stabilen Kennungen, so dass ein Angreifer auf ein erlaubtes Konto umbenannt werden kann. OpenClaw hat Vorkehrungen für solche Fälle veröffentlicht, Die Lektion ist systemisch: Entscheide über Identität und Vertrauen müssen auf unwandelbaren und hörbar nachprüfbaren Kennungen beruhen.

Seit der Verordnung sind die Auswirkungen bereits gekommen: Die niederländische Datenschutzbehörde (Autoriteit Persoonsgegevens) empfahl, OpenClaw nicht in Systemen mit sensiblen Daten zu betreiben, da es zu Leckagerisiken und Account-Taking kommt. Diese Erklärung betont, dass das Risiko nicht nur technisch, sondern auch rechtliche und Compliance ist; Organisationen müssen Agenten als Punkte einer möglichen Datenverletzung und Verantwortlichkeit der Verantwortlichen bewerten. Für weitere Informationen über regulatorische Rahmenbedingungen und Datenschutz kann die Website des Autoriteit Persoonsgegevens als institutionelle Referenz dienen https: / / autoriteitpersoonsgegevens.nl / en.

Was sollten Sicherheitsausrüstung und Produktmanager jetzt tun? Erstens: veröffentlichte Patches und Minderungen anwenden(z.B. Update 2026.4.23 von OpenClaw). Zweitens, behandeln Sie den Agenten als Junior-Mitarbeiter mit Zugang zu Systemen: stellen Sie Richtlinien als Code fest, dass der Agent nicht übersteigen kann, erfordern menschliche Bestätigung für kritische Aktionen und protokollieren und gründlich überprüfen Sie alle Ausstiegsaktivitäten. Drittens, Segmentierung Berechtigungen pro Stecker: ein externer Mail-Kanal sollte keinen freien Zugang zum CRM oder Geheimnisse, bis das Vertrauen der Quelle überprüft wird. Viertens, begrenzen Sie den Standardspeicher und betrachten Sie "ephemeren Kontext" Mechanismen, um persistente Spuren von schädlichen Anweisungen zu minimieren. Darüber hinaus stellen Sie Türen aus, die unbefugte Sendungen an unbekannte externe Adressen verhindern und Netzwerk-Egress-Kontrollen anwenden, um nicht genehmigte ausführbare Downloads zu blockieren.

Die Falle von Selbstvertrauen und was zu tun, bevor es spät ist
Bild generiert mit IA.

Auch organisatorische Kontrollen sind erforderlich: Bedrohungsmodellierungspolitiken für Agenten, spezifische Schulungen zur sozialen Entwicklung, die gegen Agenten (nicht nur gegen Menschen) gerichtet sind, Überprüfungen, die Agentenaktionen mit menschlichen Auslösern korrelieren, und SIEM / EDR-Erkennungsregeln, die Exfiltrationsmuster über Integrationen suchen. Die Annahme von weißen Listen auf Basis von unmutbaren IDs und die Trennung von Funktionen (Vorbeugung von weniger Privileg) verringern das Risiko von Skalen durch Umbenennung oder Supplantierung.

Schließlich gibt es eine strategische Reflexion: die aktuellen Korrekturen - unzuverlässige Metadaten, Validierung von Sendern, Kapazitätsbegrenzung - dämpfen konkrete Angriffe, lösen aber den Widerspruch der Substanz nicht auf. Ein nützlicher Agent muss sich in gewissem Maße auf externe Eingaben verlassen; jedes Design, das maximale Autonomie und maximale Nutzen sucht wird in Spannung mit Sicherheits- und Datenschutz-Zielen. Die langfristige Reaktion wird durch Modelle des Vertrauens bestehen: Politiken, die durch Infrastruktur, menschliche Ziele für kritische Handlungen und eine "begrenzte Delegation" Mentalität, in der der Agent die menschliche Arbeit ergänzt, ersetzt sie nicht ohne Aufsicht. Für weitere Lesungen und praktische Anleitungen zu Bedrohungen von Agenten und Modellen bieten technische Blogs von Unternehmen, die diese Bereiche untersuchen, eine kontinuierliche Analyse; es wird empfohlen, spezialisierte Quellen zu folgen, wie die Sicherheitsforschung Publikationen von Cyber-Sicherheitsanbietern und Beratern, zum Beispiel die Forschungsbereiche von Imperva und Varonis https: / / www.imperva.com / blog / und https: / / www.varonis.com / blog /.

Kurz gesagt: Parken und Abmildern bereits, aber vor allem zu überdenken, wie ein Agent in den Umfang des Vertrauens der Organisation integriert ist. Ohne architektonische und operative Veränderungen kann eine unschuldige Nachricht oder geteilter Kontakt zum Tor werden, um nicht nur den Agenten, sondern die Systeme und Daten, die er verwaltet.

Deckung

Verwandte Artikel

Weitere Neuigkeiten zum selben Thema.