In einem aktuellen Bericht hat die BBC festgestellt, dass vier führende KI-Chatbots, darunter ChatGPT von OpenAI, Copilot von Microsoft, Gemini von Google und Perplexity AI, Schwierigkeiten haben, Nachrichten genau zusammenzufassen. Die Untersuchung ergab, dass die Antworten dieser Systeme häufig signifikante Ungenauigkeiten und Verzerrungen aufwiesen, was ernsthafte Bedenken hinsichtlich der Zuverlässigkeit von KI-generierten Inhalten aufwirft.
Wichtige Erkenntnisse
- 51 % der Antworten der KI-Chatbots wiesen erhebliche Probleme auf.
- 19 % der Antworten, die auf BBC-Inhalten basierten, enthielten faktische Fehler.
- 13 % der Zitate, die auf BBC-Artikel verwiesen, waren entweder verändert oder nicht vorhanden.
- Die CEO der BBC, Deborah Turness, warnte vor den Gefahren von KI-Tools, die die öffentliche Wahrnehmung von Fakten gefährden könnten.
Die Untersuchung im Detail
Die BBC führte eine umfassende Analyse durch, bei der die genannten KI-Chatbots mit Inhalten von ihrer eigenen Website gefüttert wurden. Die Chatbots wurden dann gebeten, Fragen zu den Nachrichten zu beantworten. Die Antworten wurden von Journalisten der BBC bewertet, die auf die jeweiligen Themen spezialisiert sind.
Die Ergebnisse waren alarmierend:
- Faktische Ungenauigkeiten: 51 % der Antworten wiesen signifikante Ungenauigkeiten auf, darunter falsche Aussagen über aktuelle politische Führer wie Rishi Sunak und Nicola Sturgeon.
- Verzerrte Zitate: 13 % der Zitate, die auf BBC-Artikel verwiesen, waren entweder nicht korrekt oder nicht im Originalartikel enthalten.
- Fehlende Kontextualisierung: Die Chatbots hatten Schwierigkeiten, zwischen Meinungen und Fakten zu unterscheiden, was zu einer verzerrten Darstellung der Nachrichten führte.
Reaktionen der Technologieunternehmen
Die Reaktionen der betroffenen Unternehmen auf den Bericht waren gemischt. Während OpenAI betonte, dass sie an der Verbesserung der Genauigkeit ihrer Inhalte arbeiteten, forderte die BBC die KI-Unternehmen auf, ihre Praktiken zu überdenken und enger mit den Nachrichtenanbietern zusammenzuarbeiten.
Deborah Turness äußerte in einem Blogbeitrag, dass die Technologieunternehmen "mit dem Feuer spielen" und dass es entscheidend sei, die Integrität der Nachrichten zu wahren. Sie forderte eine Zusammenarbeit zwischen der Nachrichtenindustrie, den Technologieunternehmen und der Regierung, um Lösungen zu finden, die die Genauigkeit und Zuverlässigkeit von Nachrichteninhalten gewährleisten.
Fazit
Die Ergebnisse der BBC-Studie werfen ernsthafte Fragen zur Zuverlässigkeit von KI-Chatbots auf, insbesondere wenn es um die Zusammenfassung von Nachrichten geht. In einer Zeit, in der die Öffentlichkeit zunehmend auf digitale Medien angewiesen ist, ist es unerlässlich, dass diese Technologien verantwortungsbewusst eingesetzt werden, um das Vertrauen in die Nachrichten zu erhalten. Die Diskussion über die Regulierung und die Verantwortung von KI-Entwicklern wird in den kommenden Monaten voraussichtlich an Bedeutung gewinnen.
Quellen
- Report: AI Chatbots Unable to Accurately Summarise News, BBC Finds, Library Journal infoDOCKET.
- BBC calls out AI engines for inaccuracies in news summaries, The Hill.
- AI chatbots unable to accurately summarise news, BBC finds, BBC.
- AI chatbots distort and mislead when asked about current affairs, BBC finds | Artificial intelligence (AI) | The Guardian, The Guardian.