In einer alarmierenden Entdeckung haben Forscher herausgefunden, dass das KI-gestützte Transkriptionstool Whisper von OpenAI in Krankenhäusern verwendet wird, um Patientenbesprechungen zu transkribieren, dabei jedoch häufig falsche Informationen generiert. Diese "Halluzinationen" können schwerwiegende Folgen für die medizinische Versorgung haben.

Wichtige Erkenntnisse

Whisper wird in vielen Branchen eingesetzt, einschließlich des Gesundheitswesens.
Das Tool hat eine hohe Rate an "Halluzinationen", die zu falschen Transkriptionen führen können.
Experten warnen vor den potenziellen Gefahren in medizinischen Kontexten.

Die Problematik der Halluzinationen

Whisper, das als nahezu "menschlich robust und genau" beworben wird, hat sich als fehleranfällig erwiesen. Interviews mit Softwareentwicklern und Forschern zeigen, dass das Tool dazu neigt, ganze Textpassagen zu erfinden, die nie gesagt wurden. Diese Halluzinationen können rassistische Kommentare, gewalttätige Rhetorik und sogar erfundene medizinische Behandlungen umfassen.

Ein Forscher der Universität Michigan stellte fest, dass in 80 % der von ihm untersuchten Transkriptionen Halluzinationen auftraten. Ein anderer Entwickler fand in 50 % der über 100 Stunden an Transkriptionen Halluzinationen, während ein dritter Entwickler in fast allen 26.000 Transkripten, die er erstellt hatte, solche Fehler entdeckte.

Risiken im Gesundheitswesen

Die Verwendung von Whisper in Krankenhäusern ist besonders besorgniserregend. Trotz der Warnungen von OpenAI, dass das Tool nicht in "hochriskanten Bereichen" eingesetzt werden sollte, haben über 30.000 Kliniker und 40 Gesundheitssysteme, darunter die Mankato Clinic in Minnesota, bereits Whisper-basierte Tools zur Transkription von Arztbesuchen implementiert.

Die potenziellen Folgen dieser Halluzinationen sind gravierend. Alondra Nelson, ehemalige Leiterin des Büros für Wissenschaft und Technologiepolitik des Weißen Hauses, betont, dass niemand eine Fehldiagnose wünscht und dass es einen höheren Standard geben sollte.

Datenschutzbedenken

Die Vertraulichkeit von Patientengesprächen erschwert es, die Auswirkungen von KI-generierten Transkripten zu bewerten. Ein kalifornischer Gesetzgeber, Rebecca Bauer-Kahan, weigerte sich, einer Freigabe zuzustimmen, die es Gesundheitsanbietern erlaubte, Aufnahmen von Arztbesuchen an Technologieunternehmen weiterzugeben.

Fazit

Die Entdeckung der Halluzinationen in Whisper wirft ernsthafte Fragen zur Sicherheit und Zuverlässigkeit von KI-gestützten Transkriptionstools auf, insbesondere im Gesundheitswesen. Experten fordern eine Regulierung und eine dringende Überprüfung der Technologie, um sicherzustellen, dass solche Tools nicht zu Fehlinformationen führen, die das Leben von Patienten gefährden könnten.