Forscher haben über drei Dutzend Sicherheitsanfälligkeiten in verschiedenen Open-Source-KI- und ML-Modellen aufgedeckt, von denen einige zu Remote-Code-Ausführung und Informationsdiebstahl führen könnten.

Wichtige Erkenntnisse

Über 30 Sicherheitsanfälligkeiten entdeckt.
Kritische Schwachstellen in Lunary, ChuanhuChatGPT und LocalAI identifiziert.
Nutzer sollten ihre Installationen auf die neuesten Versionen aktualisieren.

Die Schwächen wurden im Rahmen der Huntr-Bug-Bounty-Plattform von Protect AI gemeldet. Die schwerwiegendsten Schwächen betreffen Lunary, ein Toolkit für große Sprachmodelle (LLMs).

Kritische Schwachstellen in Lunary

CVE-2024-7474 (CVSS-Score: 9.1): Eine unsichere direkte Objektverweisung (IDOR), die es einem authentifizierten Benutzer ermöglicht, externe Benutzer einzusehen oder zu löschen, was zu unbefugtem Datenzugriff und potenziellem Datenverlust führen kann.
CVE-2024-7475 (CVSS-Score: 9.1): Eine unzureichende Zugriffskontrolle, die es einem Angreifer ermöglicht, die SAML-Konfiguration zu aktualisieren, wodurch er sich als unbefugter Benutzer anmelden und auf sensible Informationen zugreifen kann.
CVE-2024-7473 (CVSS-Score: 7.5): Eine weitere IDOR-Schwachstelle, die es einem Angreifer ermöglicht, die Eingabeaufforderungen anderer Benutzer zu aktualisieren, indem er einen benutzerkontrollierten Parameter manipuliert.

Schwachstellen in ChuanhuChatGPT und LocalAI

Eine dritte kritische Schwachstelle betrifft eine Pfadüberquerung in der Benutzer-Upload-Funktion von ChuanhuChatGPT (CVE-2024-5982, CVSS-Score: 9.1), die zu beliebiger Codeausführung, Verzeichniserstellung und Offenlegung sensibler Daten führen kann.

In LocalAI wurden zwei Sicherheitsanfälligkeiten identifiziert:

CVE-2024-6983 (CVSS-Score: 8.8): Ermöglicht es böswilligen Akteuren, durch das Hochladen einer schädlichen Konfigurationsdatei beliebigen Code auszuführen.
CVE-2024-7010 (CVSS-Score: 7.5): Ein Timing-Angriff, bei dem ein Angreifer gültige API-Schlüssel erraten kann, indem er die Reaktionszeit des Servers analysiert.

Weitere Sicherheitsanfälligkeiten

Zusätzlich gibt es eine Remote-Code-Ausführungsanfälligkeit in der Deep Java Library (DJL), die auf einen beliebigen Dateiüberschreibungsfehler zurückzuführen ist (CVE-2024-8396, CVSS-Score: 7.8).

Diese Offenlegung erfolgt, nachdem NVIDIA Patches veröffentlicht hat, um eine Pfadüberquerung in seinem NeMo-Generative-AI-Framework (CVE-2024-0129, CVSS-Score: 6.3) zu beheben, die zu Codeausführung und Datenmanipulation führen kann.

Empfehlungen für Benutzer

Benutzer werden dringend geraten, ihre Installationen auf die neuesten Versionen zu aktualisieren, um ihre KI/ML-Lieferkette zu sichern und sich vor potenziellen Angriffen zu schützen.

Zusätzlich hat Protect AI Vulnhuntr veröffentlicht, einen Open-Source-Python-Statischen-Code-Analyzer, der LLMs nutzt, um Zero-Day-Schwachstellen in Python-Codebasen zu finden. Vulnhuntr zerlegt den Code in kleinere Teile, um potenzielle Sicherheitsprobleme zu kennzeichnen.

Neue Jailbreak-Techniken

Abgesehen von den Schwächen in den KI-Frameworks hat ein neues Jailbreak-Verfahren, das vom Mozilla 0Day Investigative Network (0Din) veröffentlicht wurde, gezeigt, dass böswillige Eingabeaufforderungen, die in hexadezimaler Form und Emojis kodiert sind, verwendet werden können, um die Sicherheitsvorkehrungen von OpenAI ChatGPT zu umgehen und Exploits für bekannte Sicherheitsanfälligkeiten zu erstellen.

Diese Schwächen verdeutlichen die Notwendigkeit, Sicherheitsmaßnahmen in der Entwicklung und Implementierung von KI- und ML-Modellen zu verstärken, um die Integrität und Sicherheit der Systeme zu gewährleisten.