München, Starnberg, 15. Dez. 2023 - KI auf dem Prüfstand; eine der größten Sorgen bereitet laut Trend Micro Research das Potenzial der Technologie für eine böswillige Nutzung…

Zum Hintergrund: Das mächtige Sprachmodell ChatGPT hat sich im Bereich der Code-Programmierung als vielversprechend erwiesen, denn es bietet höhere Genauigkeit und reduziert den Arbeitsaufwand der Programmierer. Daher sind Technologieunternehmen sehr daran interessiert, generative KI-Tools zu entwickeln. Und im Sommer 2023 veröffentlichte Meta mit Code Llama ein neues LLM, das speziell auf Codegenerierung ausgerichtet ist. Mit der zunehmenden Beliebtheit und Nutzung von ChatGPT und anderen KI-Technologien ist es deshalb wichtig, die damit einhergehenden potentiellen Risiken zu berücksichtigen.

Im folgenden Kommentar von Veronica Chierzi, Threat Researcher bei Trend Micro (1) wird darauf eingegangen, welches Potenzial für den Missbrauch von KI-Technologien wie ChatGPT durch kriminelle Akteure derzeit vorhanden ist und wo die Grenzen aktueller KI-Modelle (LLMs) bei der Codeerstellung in diesem Zusammenhang liegen. Hier die wichtigsten Ergebnisse aus dem Research:

„Eine der größten Sorgen bereitet das Potenzial der Technologie für eine böswillige Nutzung, z.B. bei der Entwicklung von Malware oder anderer gefährlicher Software. OpenAI hat Sicherheitsfilter implementiert, die im Zuge des technologischen Fortschritts immer ausgefeilter wurden und jeden Versuch, dieses KI-Tool für bösartige Zwecke zu nutzen, erkennen und verhindern sollen. Zudem sind die Fähigkeiten von LLMs bei der Codeerstellung generell limitiert.

ChatGPTs Malware-Coding-Potenzial auf dem Prüfstand

Wir testeten die Fähigkeiten von ChatGPT 3.5, automatisch und ohne menschliche Interaktion gebrauchsfertige Malware zu generieren. Zu diesem Zweck ließen wir das Modell einen Datensatz mit Codeschnipseln erstellen, die ChatGPT später zusammenfügt, um die gewünschte Malware zu erstellen. Unsere Tests führten zu einigen interessanten Ergebnissen: Obwohl das Modell mithilfe bestimmter Eingabeaufforderungen Schadcode generieren kann, waren dafür immer einige Workarounds erforderlich, um die Sicherheitsfilter zu überlisten.

Wir bewerteten in der Folge die Fähigkeit des Modells, einsatzbereite Codeschnipsel zu erstellen und deren Erfolgsquote bei der Erzielung der gewünschten Ergebnisse:

• Codemodifikation: Alle getesteten Codeschnipsel mussten geändert werden, um ordnungsgemäß ausgeführt werden zu können. Diese Änderungen reichten von geringfügigen Anpassungen wie der Umbenennung von Pfaden, IPs und URLs bis hin zu umfangreichen Änderungen, einschließlich solcher der Codelogik oder der Behebung von Fehlern.

• Erfolg beim gewünschten Ergebnis: Etwa 48 Prozent der getesteten Codeschnipsel lieferten nicht das gewünschte Ergebnis (42 Prozent waren vollständig erfolgreich und 10 Prozent teilweise). Dies verdeutlicht die derzeitigen Grenzen des Modells bei der genauen Interpretation und Ausführung komplexer Codierungsanforderungen.

• Fehlerquote: Von allen getesteten Codes wiesen 43 Prozent Fehler auf. Einige dieser Fehler traten auch in Codeschnipseln auf, die erfolgreich die gewünschte Ausgabe lieferten. Dies könnte auf mögliche Probleme bei der Fehlerbehandlung des Modells oder der Logik der Codegenerierung hindeuten.

• Aufschlüsselung nach MITRE-Techniken: Die MITRE Discovery-Techniken waren am erfolgreichsten (Quote von 77 Prozent), was möglicherweise auf ihre geringere Komplexität oder eine bessere Abstimmung mit den Trainingsdaten des Modells zurückzuführen ist.

• Defense Evasion-Techniken waren am wenigsten erfolgreich (Quote von 20 Prozent), was möglicherweise an ihrer Komplexität oder an den fehlenden Trainingsdaten des Modells in diesen Bereichen lag.

Abb.: Von ChatGPT erstellter Codeschnipsel, nach Aufforderung, Code aus einer bestimmten MITRE ATT&CK TTP zu erstellen (Bildquelle: Trend Micro)

Fazit des Research

Obwohl das Modell auf einigen Gebieten vielversprechend ist, z. B. bei Entdeckungstechniken, hat es bei komplexeren Aufgaben Schwierigkeiten. Unserer Meinung nach ist es immer noch nicht möglich, das LLM-Modell zur vollständigen Automatisierung des Malware-Erstellungsprozesses zu verwenden, ohne dass ein erheblicher Aufwand für Prompt-Engineering, Fehlerbehandlung, Feinabstimmung des Modells und menschliche Aufsicht erforderlich ist. Dies gilt trotz mehrerer Berichte, die im Laufe dieses Jahres veröffentlicht wurden, die beweisen sollen, dass ChatGPT für die automatische Erstellung von Malware zu verwenden ist.

Dennoch ist es wichtig zu erwähnen, dass diese LLM-Modelle die ersten Schritte der Malware-Codierung vereinfachen können, insbesondere für diejenigen, die den gesamten Prozess der Malware-Erstellung bereits kennen. Diese Benutzerfreundlichkeit könnte den Prozess für ein breiteres Publikum zugänglicher machen und den Prozess für erfahrene Malware-Programmierer beschleunigen.

Die Fähigkeit von Modellen wie ChatGPT 3.5, aus früheren Aufforderungen zu lernen und sich an Benutzerpräferenzen anzupassen, ist eine vielversprechende Entwicklung, kann sie doch die Effizienz und Effektivität der Codegenerierung verbessern und diese Tools zu wertvollen Assets in vielen legitimen Kontexten werden lassen. Darüber hinaus könnte die Fähigkeit dieser Modelle, Code zu bearbeiten und seine Signatur zu ändern, möglicherweise Hash-basierte Erkennungssysteme unterlaufen, obwohl verhaltensbasierte Erkennungssysteme wahrscheinlich immer noch erfolgreich wären.

Die Möglichkeit, mit KI schnell einen großen Pool von Codes zu generieren, die zur Erstellung verschiedener Malware-Familien verwendet werden können und möglicherweise die Fähigkeiten der Malware zur Umgehung der Erkennung verstärken, ist eine beunruhigende Aussicht. Die derzeitigen Beschränkungen dieser Modelle geben jedoch die Gewissheit, dass ein solcher Missbrauch noch nicht vollständig möglich ist."

Querverweis:

Unser Beitrag > Trend Micro identifiziert vier der bedrohlichsten Ransomware-Gruppen für 2024

Unser Beitrag > Dominanz von Ransomware und Angriffe auf Cloudanbieter: Elastic Global Threat Report 2023

Unser Blogpost > Strategien gegen Verschlüsselungsangriffe auf wichtige Backupdaten