Die laute Begründung der Agent-Browser öffnet die Tür zu massiven Betrug

In den letzten Monaten haben wir gesehen Browser, die künstliche Intelligenz Fähigkeiten enthalten, bewegen sich von bloßen Assistenten zu Agenten, die Aufgaben selbst erledigen können: füllen Sie Formulare, navigieren Sie mehrere Seiten und führen Sie Aktionssequenzen für den Benutzer. Diese Autonomie verspricht Produktivität, aber sie öffnet auch neue Türen für die Angreifer. Ein neuer Bericht der Guardio-Firma beschreibt ein störendes Szenario, in dem diese "Agetiker"-Browser getäuscht werden können, in Phishing- und Betrugsfalle zu fallen, ohne dass der Benutzer direkt eingreifen muss. Hier können Sie den vollständigen Bericht von Guardio lesen: Guardio: Alternisches Blabbing.

Die Mechanik des Angriffs nutzt ein Merkmal, das paradoxerweise als Vorteil wahrgenommen wird: Viele Agenten auf Basis von Sprachmodellen erklären laut - oder in ihren Aufzeichnungen - warum sie bestimmte Entscheidungen treffen. Diese "aloud Reasoning" fungiert als Fenster für einen Angreifer: Wenn Sie sehen können, welche Elemente einer Seite den Agenten Zweifel machen, oder welche Signale Sie als verdächtig betrachten, können Sie gegen das Modell iterieren, bis Sie eine bösartige Seite, die der Browser als legitim akzeptiert. Guardio zeigt, dass durch die Fütterung dieser Informationen an adverse Lerntechniken - zum Beispiel mit einem negativen generativen Netzwerk ( GAN) - es ist möglich, in Minuten Seiten der Phishing zu erstellen, die die Verteidigung des Agenten dodge.

Die Forscher prägen einen beschreibenden Begriff für dieses Phänomen: Alterndes Blabbing. Die Idee ist einfach und leistungsstark: Wenn der Agent "Katter" über das, was er sieht und wird tun, ist dieser Chatter eine Quelle von Daten, die ein Angreifer verwenden kann, um seine Falle automatisch zu trainieren. Von dort muss der Angreifer den menschlichen Benutzer nicht überzeugen; sein Ziel ist es, das Modell zu täuschen, das von Millionen von gleichen Nutzern handelt. Guardio zeigte sogar, wie ein kommerzieller Agent, in diesem Fall der Comet-Browser von Perplexity, in weniger als vier Minuten unter Laborbedingungen in einen Phishing-Scam fallen induziert werden konnte.

Dieses Verhalten entsteht nicht aus dem Nichts: Es ist die Evolution früherer Angriffsvektoren, die versuchten, Anweisungen in Aufforderungen oder Kraft-Erzeugungsplattformen zu injizieren, um bösartige Seiten oder Aktionen zu erzeugen. Techniken wie "vibe-scamming" oder die Verwendung von versteckten Injektionen im Inhalt hatten bereits gezeigt, dass die Modelle nach Anweisungen aus dem Web selbst manipuliert werden können. Der Unterschied besteht nun darin, dass der Gegner seinen Köder offline abstimmen kann, bis die Falle zuverlässig gegen ein bestimmtes Modell funktioniert und ihn dann mit einem hohen Erfolg gegen jeden Benutzer mit diesem Agenten einsetzen kann.

Guardios Forschung ist nicht allein: andere Firmen und Ausrüstungen haben komplementäre Vektoren gezeigt. Trail of Bits führte eine eingehende Prüfung von Comet und detaillierte mehrere schnelle Injektionstechniken, die die Entfernung von privaten Informationen ermöglichen, indem legitime Benutzeranfragen mit Anweisungen, die von einem Angreifer von bösartigen Websites kontrolliert. Ihre technische Analyse ist auf dem Trail of Bits Blog verfügbar: Verwendung von Bedrohungsmodellierung und schnelle Injektion zur Audit Comet und auch Links zu einer akademischen Arbeit, die diese Injektionen untersucht: schnelle Injektionstechniken (arXiv).

Zeness Labs beschreibt zum Teil "Null-Klick"-Angriffe, die es erlauben, lokale Dateien auszufiltern oder sogar versuchen, die Kontrolle über Passwort-Kffer zu übernehmen, wenn die Umgebung des Benutzers Erweiterungen, wie 1Password, entsperrt hatte. Deine Beiträge, PerplexedComet: Dateiexfiltration und Angriff auf 1Password-Kffer sie erklären, wie scheinbar harmlose Vektoren, wie eine Kalendereinladung oder eine Seite zusammenfassen, in Fluchtkanäle umgewandelt werden können, wenn der Agent legitime und schädliche Anweisungen fusioniert.

Die beschriebenen Angriffe basieren auf einer grundlegenden Einschränkung der Systeme: die zuverlässige Unfähigkeit, die legitime Absicht des Nutzers von den Bestimmungen von Getränken in unzuverlässigen Inhalten zu trennen. Die Forscher nennen diese "intent Kollision", d.h. die Kollision der Absichten, und es passiert, wenn der Agent eine Benutzeranforderung mit Befehlen kombiniert, die von einem Angreifer auf der Seite eingeführt werden, und sie ohne sicher unterscheiden zu können, was vom Benutzer kommt und welche vom Angreifer.

Welche praktischen Auswirkungen hat das alles für Menschen, die gerade segeln? Erstens ist das Risiko nicht mehr nur persönlich: Ein Angreifer, der eine Explosion gegen ein Browser-Modell perfektioniert, kann Millionen von Menschen erreichen, die denselben Agenten verwenden. Zweitens, die traditionellen Verteidigungen konzentrierten sich auf die Ausbildung des Benutzers nicht zu drücken verdächtige Links verlieren Teil ihrer Wirksamkeit, weil das direkte Opfer der Täuschung ist der Agent und nicht die Person. Und drittens, die Fähigkeit der Angreifer, ihre Offline-Seiten zu testen und zu optimieren, macht diese Bedrohungen eher wie eine Produktionslinie: Testen, Verbesserung und Massenvergabe.

Das bedeutet nicht, dass wir hilflos sind. Die vorgeschlagene Minderung umfasst technische Verbesserungen wie automatische Erkennung von negativen Angriffen, wechselseitige Schulung von Modellen und neue System-Level-Schutz, die begrenzen, welche autonomen Handlungen ein Agent ausführen kann und wie er seine Argumentation kommuniziert. Unternehmen und Auditoren arbeiten bereits in dieser Richtung, in der Tat haben Perplexity und andere Lieferanten nach den Angaben von Trail of Bits und Zenity korrigiert und gehärtete Komponenten. Sie können den Sicherheitshinweis 1Password über die Integration mit IA-gestützten Browsern in Ihre Kommunikation.

Aber es gibt eine breitere Lehre: Die Einführung autonomer Kapazitäten erfordert ein Umdenken der gesamten Angriffsfläche. Modelle, die ihren Entscheidungsprozess erklären, sollten dies in einer Weise tun, die das iterative Lernen für Angreifer nicht erleichtert. Darüber hinaus müssen Lieferanten zeitnahe Engineering-Techniken, Datenquellen-Isolationsrichtlinien und Echtzeit-Verhaltensanalyse kombinieren, um festzustellen, wann ein Agent manipuliert wird. OpenAI hat beispielsweise in der Vergangenheit darauf hingewiesen, dass solche Schwachstellen schwer vollständig auszulöschen sind und dass die Risikoreduktion durch eine Mischung aus automatisierter Prävention und sicherer Systemgestaltung geht (Anmerkung: Leser können die technischen Veröffentlichungen der Hersteller und Sicherheitshinweise für Details zu Ansätzen und Einschränkungen konsultieren).

Was können die Nutzer heute tun? Bewahren Sie empfindliche Erweiterungen wie geschlossene oder blockierte Passwort-Manager, wenn nicht verwendet, sorgfältig überprüfen, welche automatischen Funktionen in IA-gestützten Browsern aktiviert werden und bevorzugen Werkzeuge, die Transparenz und körnige Steuerungen über automatische Aktionen bieten sind umsichtige Maßnahmen. Auf organisatorischer Ebene sollte geprüft werden, welche delegierten Entscheidungen an Agenten delegiert werden und Hindernisse festlegt werden, die einen Agenten beispielsweise daran hindern, Anmeldeinformationen zu schreiben oder Dateien ohne eine sichere Bestätigung herunterzuladen.

Das Versprechen der agentischen Browser ist großartig: Zeit sparen, repetitive Klicks vermeiden und das Internet zugänglicher machen. Die jüngste Forschung erinnert uns jedoch daran, dass jede Ebene der Autonomie neue Risiken einführt. Die Sicherheit im Alter von Selbständigen ist nicht nur ein Problem der unaussichtlichen Nutzer: Es ist ein Problem der Gestaltung von Systemen, die gegen Gegner geschützt werden müssen, die aus dem Verhalten dieser Systeme lernen.. Diese Dynamik zu verstehen und effektive Audit-, Transparenz- und Minderungsanbieter zu benötigen, wird für die Technologie von entscheidender Bedeutung sein, um ihre Versprechen zu liefern, ohne ein Werkzeug zu werden, das durch Betrüger verstärkt wird.