Forscher am Massachusetts Institute of Technology (MIT) haben eine bahnbrechende Methode entwickelt, um Vorurteile in KI-Modellen zu reduzieren, während die Genauigkeit der Vorhersagen erhalten bleibt oder sogar verbessert wird. Diese neue Technik könnte entscheidend sein, um sicherzustellen, dass KI-Modelle in sensiblen Bereichen wie der Gesundheitsversorgung fairer und zuverlässiger arbeiten.

Wichtige Erkenntnisse

Die neue Methode identifiziert und entfernt spezifische Datenpunkte, die zu Fehlern bei unterrepräsentierten Gruppen führen.
Im Vergleich zu herkömmlichen Methoden werden deutlich weniger Daten entfernt, was die Gesamtgenauigkeit des Modells erhält.
Die Technik kann auch versteckte Vorurteile in unbeschrifteten Datensätzen aufdecken.

Hintergrund der Forschung

Maschinenlernmodelle können versagen, wenn sie Vorhersagen für Individuen treffen, die in den Trainingsdatensätzen unterrepräsentiert sind. Ein Beispiel ist ein Modell, das die beste Behandlungsoption für Patienten mit chronischen Krankheiten vorhersagt, das jedoch hauptsächlich mit männlichen Patienten trainiert wurde. Solche Modelle können bei weiblichen Patienten falsche Vorhersagen treffen.

Um die Ergebnisse zu verbessern, versuchen Ingenieure oft, die Trainingsdatensätze auszugleichen, indem sie Datenpunkte entfernen, bis alle Untergruppen gleichmäßig vertreten sind. Diese Methode kann jedoch dazu führen, dass große Datenmengen entfernt werden, was die Gesamtleistung des Modells beeinträchtigt.

Die neue Technik

Die MIT-Forscher entwickelten eine Technik, die spezifische Punkte in einem Trainingsdatensatz identifiziert und entfernt, die am meisten zu den Fehlern des Modells bei Minderheitsgruppen beitragen. Diese Methode, die auf früheren Arbeiten basiert, nutzt ein Verfahren namens TRAK, um die wichtigsten Trainingsbeispiele für eine bestimmte Modellvorhersage zu identifizieren.

Identifikation von Fehlern: Die Forscher analysieren falsche Vorhersagen des Modells für Minderheitsgruppen.
Datenpunktanalyse: Mit TRAK wird ermittelt, welche Trainingsbeispiele am meisten zu diesen falschen Vorhersagen beigetragen haben.
Datenbereinigung: Die problematischen Datenpunkte werden entfernt, und das Modell wird mit den verbleibenden Daten neu trainiert.

Vorteile der Methode

Die neue Methode hat in Tests mit drei verschiedenen Maschinenlern-Datensätzen mehrere Techniken übertroffen. In einem Fall wurde die Genauigkeit bei unterrepräsentierten Gruppen verbessert, während etwa 20.000 weniger Trainingsproben entfernt wurden als bei herkömmlichen Methoden. Diese Technik erzielt auch höhere Genauigkeit als Methoden, die Änderungen an den inneren Abläufen eines Modells erfordern.

Zugänglichkeit: Da die MIT-Methode die Datenmenge ändert, ist sie für Praktiker einfacher anzuwenden und kann auf viele Modelltypen angewendet werden.
Unbekannte Vorurteile: Die Technik kann auch verwendet werden, wenn Vorurteile unbekannt sind, da sie die Datenpunkte identifiziert, die am meisten zu den Vorhersagen des Modells beitragen.

Zukünftige Entwicklungen

Die Forscher planen, die Leistung und Zuverlässigkeit ihrer Technik weiter zu verbessern und sicherzustellen, dass die Methode für Praktiker zugänglich und benutzerfreundlich ist. Sie hoffen, dass ihre Arbeit dazu beiträgt, KI-Modelle zu entwickeln, die fairer und zuverlässiger sind, insbesondere in kritischen Bereichen wie der Gesundheitsversorgung.

„Wenn Sie Werkzeuge haben, die es Ihnen ermöglichen, die Daten kritisch zu betrachten und herauszufinden, welche Datenpunkte zu Vorurteilen oder anderen unerwünschten Verhaltensweisen führen, ist das der erste Schritt, um Modelle zu entwickeln, die fairer und zuverlässiger sind“, sagt Andrew Ilyas, einer der Hauptautoren der Studie.