In der wissenschaftlichen Gemeinschaft gewinnt der Einsatz von Künstlicher Intelligenz (KI) zur Identifizierung von Fehlern in Forschungsarbeiten zunehmend an Bedeutung. Zwei neue Projekte, die auf KI basieren, haben das Ziel, methodische, rechnerische und referenzielle Fehler in wissenschaftlichen Publikationen zu erkennen und zu korrigieren.

Wichtige Erkenntnisse

Zwei KI-gestützte Projekte, Black Spatula Project und YesNoError, analysieren Forschungsarbeiten auf Fehler.
Black Spatula hat bereits 500 Arbeiten untersucht, während YesNoError über 37.000 Arbeiten in zwei Monaten analysiert hat.
Beide Projekte zielen darauf ab, Fehler vor der Veröffentlichung in Fachzeitschriften zu identifizieren.
Es gibt Bedenken hinsichtlich der Genauigkeit der KI-Tools und der möglichen Reputationsschäden für Autoren.

Die Projekte im Detail

Das Black Spatula Project ist ein Open-Source-Tool, das von einem Team von Entwicklern und freiwilligen Beratern unterstützt wird. Es hat bereits zahlreiche Fehler in wissenschaftlichen Arbeiten identifiziert, die den betroffenen Autoren direkt gemeldet werden. Joaquin Gulloso, ein unabhängiger KI-Forscher, betont, dass die Anzahl der entdeckten Fehler „verrückt“ hoch ist.

Im Gegensatz dazu wurde YesNoError von Matt Schlicht ins Leben gerufen und nutzt eine eigene Kryptowährung zur Finanzierung. Dieses Projekt hat sich das Ziel gesetzt, eine umfassende Analyse aller veröffentlichten Arbeiten durchzuführen. Schlicht berichtet, dass ihre KI in der Lage ist, Fehler in einer Vielzahl von Arbeiten zu erkennen, auch wenn diese noch nicht von Menschen verifiziert wurden.

Herausforderungen und Bedenken

Trotz der vielversprechenden Ansätze gibt es auch Bedenken hinsichtlich der Genauigkeit der KI-Tools. Michèle Nuijten, eine Forscherin für Metawissenschaften, warnt davor, dass falsche Anschuldigungen gegen Autoren erhebliche Reputationsschäden verursachen können. Die Rate der falsch positiven Ergebnisse, bei denen die KI einen Fehler meldet, wo keiner vorhanden ist, liegt derzeit bei etwa 10 % für das Black Spatula Project.

Um diese Herausforderungen zu bewältigen, ist eine enge Zusammenarbeit mit Experten erforderlich, um die von der KI identifizierten Fehler zu überprüfen. Steve Newman, der Gründer des Black Spatula Project, hebt hervor, dass die Suche nach Experten die größte Herausforderung darstellt.

Zukunftsausblick

Beide Projekte haben das Potenzial, die Art und Weise, wie wissenschaftliche Arbeiten überprüft werden, grundlegend zu verändern. Die Verwendung von KI zur Identifizierung von Fehlern könnte dazu beitragen, die Integrität der wissenschaftlichen Literatur zu wahren und die Qualität der veröffentlichten Forschung zu verbessern.

Die Forscher hoffen, dass diese Tools nicht nur von Autoren vor der Einreichung ihrer Arbeiten, sondern auch von Fachzeitschriften vor der Veröffentlichung genutzt werden, um Fehler und mögliche Betrugsfälle zu vermeiden.

Insgesamt zeigt die Entwicklung dieser KI-gestützten Tools, dass die Wissenschaftsgemeinschaft bereit ist, innovative Technologien zu nutzen, um die Qualität und Integrität der Forschung zu verbessern.