Ein neuer Bericht zeigt, dass führende KI-Modelle von großen Technologieunternehmen in wichtigen Bereichen wie Cybersicherheit und diskriminierenden Ergebnissen hinter den europäischen Vorschriften zurückbleiben. Diese Erkenntnisse stammen von einem neuen Tool, das die Einhaltung des EU AI Act überprüft und von der EU begrüßt wurde.

Wichtige Erkenntnisse

Einige KI-Modelle erhielten niedrige Bewertungen in den Bereichen Cybersicherheit und Diskriminierung.
Unternehmen, die nicht konform sind, riskieren Geldstrafen von bis zu 35 Millionen Euro oder 7 % des globalen Jahresumsatzes.
Der EU AI Act wird schrittweise in den nächsten zwei Jahren umgesetzt.

Die EU hat lange über neue KI-Vorschriften diskutiert, insbesondere nach der Veröffentlichung von ChatGPT durch OpenAI Ende 2022. Die enorme Popularität und die damit verbundenen öffentlichen Debatten über die potenziellen Risiken solcher Modelle führten dazu, dass Gesetzgeber spezifische Regeln für "Allzweck-KIs" (GPAI) entwarfen.

Ein neues Tool, das von dem Schweizer Startup LatticeFlow AI und Partnern der ETH Zürich sowie des bulgarischen INSAIT entwickelt wurde, hat generative KI-Modelle von Unternehmen wie Meta und OpenAI getestet. Die Tests wurden in Übereinstimmung mit dem umfassenden AI Act der EU durchgeführt, der in den nächsten zwei Jahren schrittweise in Kraft tritt.

Das Tool bewertet KI-Modelle in verschiedenen Kategorien mit einer Punktzahl zwischen 0 und 1, wobei technische Robustheit und Sicherheit berücksichtigt werden.

Eine von LatticeFlow veröffentlichte Rangliste zeigt, dass Modelle von Alibaba, Anthropic, OpenAI, Meta und Mistral im Durchschnitt Punktzahlen von 0,75 oder höher erhielten. Dennoch deckte der "Large Language Model (LLM) Checker" einige Schwächen in Schlüsselbereichen auf, was darauf hinweist, dass Unternehmen möglicherweise Ressourcen umleiten müssen, um die Compliance sicherzustellen.

Compliance-Risiken

Diskriminierende Ergebnisse: Diese sind ein anhaltendes Problem bei der Entwicklung generativer KI-Modelle. Bei Tests zur diskriminierenden Ausgabe erhielt OpenAIs "GPT-3.5 Turbo" eine vergleichsweise niedrige Punktzahl von 0,46, während das Modell "Qwen1.5 72B Chat" von Alibaba nur 0,37 erreichte.
Cybersicherheitsrisiken: Bei der Prüfung auf "Prompt Hijacking", einer Art Cyberangriff, bei dem Hacker schadhafte Eingaben als legitim tarnen, erhielt Metas "Llama 2 13B Chat" eine Punktzahl von 0,42. Das französische Startup Mistral erzielte mit seinem Modell "8x7B Instruct" eine Punktzahl von 0,38.
Höchste Punktzahl: Das Modell "Claude 3 Opus" von Anthropic, das von Google unterstützt wird, erzielte die höchste durchschnittliche Punktzahl von 0,89.

Das Testverfahren wurde in Übereinstimmung mit dem Text des AI Act entwickelt und wird erweitert, um weitere Durchsetzungsmaßnahmen zu berücksichtigen, sobald diese eingeführt werden. LatticeFlow hat angekündigt, dass der LLM Checker Entwicklern kostenlos zur Verfügung stehen wird, um die Compliance ihrer Modelle online zu testen.

Petar Tsankov, CEO und Mitgründer von LatticeFlow, äußerte, dass die Testergebnisse insgesamt positiv seien und den Unternehmen eine Roadmap bieten, um ihre Modelle gemäß dem AI Act zu optimieren. Er betonte, dass die EU weiterhin an der Festlegung der Compliance-Benchmarks arbeite, aber bereits einige Lücken in den Modellen sichtbar seien.

Die Europäische Kommission hat zwar keine externen Tools verifiziert, wurde jedoch während der Entwicklung des LLM Checkers informiert und bezeichnete ihn als "ersten Schritt", um die neuen Gesetze in die Praxis umzusetzen. Ein Sprecher der Kommission erklärte, dass die Studie und die Bewertungsplattform für KI-Modelle als erster Schritt zur Übersetzung des EU AI Act in technische Anforderungen begrüßt werden.