Generative IA wird eine Waffe: wie Gemini Angriffe, Suplantationen und Modellextraktion antreibt

Die Ankunft fortgeschrittener generativer Modelle veränderte die Art, wie wir Aufgaben erforschen, schreiben und automatisieren. Aber wie in fast jeder technologischen Revolution, hat es auch neue Wege für schädliche Akteure eröffnet, um Kampagnen gegen Unternehmen und Menschen zu beschleunigen und zu perfektionieren. Vor kurzem, Google zeigte, dass eine Gruppe, die mit Nordkorea verbunden war, sein Gemini-Modell für Angriffserkennungs- und Planungsaufgaben nutzte, ein klares Beispiel dafür, wie künstliche Intelligenz-Tools für feindliche Zwecke wiederverwendet werden können.

Nach Googles Bedrohungs-Intelligenz-Team nutzte der als UNC2970 bekannte Schauspieler Gemini, um Open Source Intelligence (OSINT) zu synthetisieren und detaillierte Profile von hochwertigen Zielen zu erstellen. Diese Arbeit umfasste Recherchen von Cyber-Sicherheits- und Verteidigungsunternehmen, Kartierung von bestimmten technischen Posts und sogar Sammeln von Lohninformationen, alle mit dem Ziel, überzeugende supplantierende Kommunikationen zu entwerfen und "weiche Punkte" für mögliche Intrusion zu erkennen. Die eigene Beschreibung des Berichts zeigt, wie in den Händen eines Betreibers mit offensiver Motivation die Linie zwischen legitimer professioneller Forschung und schädlicher Anerkennung sehr mühsam wird. Siehe Googles Bericht hier: Google Cloud: Destillation, Experimentierung und die widrige Verwendung von KI.

UNC2970 ist kein Neuling: Es ist mit Clustern verbunden, die historisch mit Kampagnen wie Operation Dream Job verbunden sind, in denen falsche Stellenangebote verwendet wurden, um Luft- und Raumfahrt-, Verteidigungs- und Energiepersonal zu täuschen und so Malware zu liefern. Diese "fiktive Rekrutierer"-Technik wird viel effektiver, wenn ein generatives Modell hilft, leistungsfähige personalisierte Nachrichten und Social Engineering-Techniken zu machen. Google hat dieses Muster auch in einem breiteren Kontext von Bedrohungen gegen die Verteidigungsindustrie dokumentiert: mehr Details hier.

Und es sind nicht nur nordkoreanische Gruppen, die Gemini in ihre Workflows integriert haben. Verschiedene Akteure, die mit verschiedenen Ländern verbunden sind, haben begonnen, generative Modelle zu verwenden, um Phasen des Angriffszyklus zu beschleunigen: von der Suche nach und Sammlung von Anmeldeinformationen bis zur Erstellung von persönlichen Dossiers, der Automatisierung von Sicherheitstests oder der Hilfe zur Reinigung des Betriebscodes. Einige Teams haben das Modell gebeten, Open Source-Dokumentation zusammenzufassen, gezielte Testpläne zu erstellen oder sogar Web-Schrott-Tools und SIM-Karten-Management-Systeme zu entwickeln. Das Ergebnis ist, dass Aufgaben, die zuvor benötigte dedizierte menschliche Ausrüstung jetzt schneller und im Maßstab erreicht werden können.

Der Missbrauch von Modellen ist nicht auf die Vorangriffsintelligenz beschränkt. Google identifiziert Malware-Familien, die die Vorteile von Gemini-APIs nutzen, um einen la carte-Code zu generieren. Ein besonders aufschlussreiches Beispiel ist der Download namens HONESTCUE, der Anwendungen an die API sendet und Codeantwort in C # erhält. Dieser Code wird kompiliert und direkt im Speicher mit einem legitimen ausgeführt. NET Bookstore, CSharpCodeProvider, so vermeiden Scheibenartefakte und die traditionelle Erkennung schwierig. Ein weiterer Fall entdeckt wurde ein automatisiertes Phishing-Kit mit falscher Content-Generierung, um eine Kryptomoneda-Austauschplattform zu supplantieren, die mit finanziellen Motivationsoperationen zusammenhängt.

Kampagnen haben sich auch ergeben, dass die Funktionen des öffentlichen Teilens von IA-Diensten nutzen, um falsche Anweisungen zu hosten und Opfer an Malware zu gewinnen, die Informationen stehlen; Sicherheits-Community-Forscher haben auf mehrere Wellen solcher Missbräuche hingewiesen. Diese Vorfälle zeigen, wie die Fähigkeit eines Modells zur Herstellung von plausiblen Texten sowohl zum Aufbau von Betrug als auch zur Schaffung technischer Bestandteile einer Angriffskette instrumentalisiert werden kann.

Ein weiteres von Google identifiziertes relevantes Risiko ist die Modellextraktion. Bei dieser Art von Angriff konsultiert ein massiver Gegner eine API eines Eigentümermodells, erfasst die Antworten und trainiert ein Ersatzsystem, das das Verhalten des Originals weitgehend repliziert. Google blockierte Versuche, die aus mehr als 100.000 Konsultationen bestanden, um die Kapazität des Modells in mehreren Aufgaben und in anderen Sprachen als Englisch zu replizieren. Unabhängige Forschung hat gezeigt, dass auch bei einer relativ geringen Anzahl von Konsultationen Repliken mit einer überraschenden Treue trainiert werden können: ein öffentliches Experiment erreichte eine Replik, die nach dem Senden von 1.000 Fragen und Schulungen 20 mal 80,1% Präzision erreichte. Wie der Forscher Farida Shafik warnt: "Behavior ist das Modell: jedes Paar konsultiert - Antwort ist ein Beispiel für die Ausbildung für eine Replik." Weitere technische Zusammenhänge zu diesem Extraktionsangriff finden Sie in der Analyse von Praetorian: Praetorian - Lenkung von AI-Modellen durch die API, und eine Erklärung von Trainingskonzepten wie Zeiten hier: Machine Learning Master- Battle vs Epoch.

Was können Organisationen in diesem Zusammenhang tun? Erstens, zu erkennen, dass traditionelle Verteidigung allein nicht genug sind: Der Schutz der Gewichtsgeheimnis des Modells verhindert nicht, dass sein Verhalten repliziert wird, wenn die Antworten durch eine API ausgesetzt werden. Gleichzeitig gibt es praktische Maßnahmen, die die Angriffsfläche reduzieren: segregate und schützen API-Schlüssel, setzen Geschwindigkeitsgrenzen und Verkehrsanomalien, wenden Zugriffskontrollen und strenge Authentifizierung an, überwachen atypische Konsultationsmuster und verwenden verhaltensbasierte Erkennung für Extraktions- oder Missbrauchssignale. Es ist auch wichtig, die Ausbildung von Mitarbeitern in den Bereichen Sozialtechnik und Rekrutierung zu verbessern, denn die gezielte und überzeugende Täuschung bleibt ein regelmäßiges Tor.

Neben einer spezifischen technischen Minderung erfordert die Situation eine Zusammenarbeit zwischen Modellanbietern, Benutzerunternehmen und der Sicherheitsgemeinschaft, um Missbrauchsindikatoren zu teilen, die Transparenz bei Vorfällen zu verbessern und Gegenmaßnahmen auf der Modellarchitekturebene voranzutreiben - wie z.B. Techniken zur Maskierung oder Begrenzung sensibler Informationen in Reaktionen und Mechanismen zur Erkennung von Echtzeit-Extraktionsversuchen. Google und andere Anbieter veröffentlichen bereits Forschung und Anleitungen zu diesen Herausforderungen; der öffentliche Austausch von Erkenntnissen ist der Schlüssel zur Verringerung der Auswirkungen.

Kurz gesagt, die Fähigkeit von generativen Modellen zu Produktivitätswerkzeugen ist unbestreitbar, aber ihre weit verbreitete Annahme verstärkt auch neue und bekannte Risiken. Innovation und Sicherheit müssen Hand in Hand gehen:: ohne an diesen neuen Kontext angepasste Verteidigungspraktiken können die gleichen Kapazitäten, die die legitime Arbeit beschleunigen, die Organisationen wesentlich leichter nutzen.

Empfohlene Quellen und Lesungen: Googles technische Analyse der negativen Verwendungen von Gemini- und Minderungsempfehlungen ( Google Cloud), die praktische Studie zur Extraktion der Praetorianer Modelle ( Praetorian), Microsoft-Dokumentation zur dynamischen Kompilation in .NET ( Microsoft Docs) und Huntress' Sicherheitsblog für Beispiele von Kampagnen basierend auf den öffentlichen Anweisungen der IA ( Huntres)